Groq, một startup phát triển chip để chạy các mô hình AI tạo sinh nhanh hơn các bộ xử lý thông thường, cho biết vào hôm thứ Hai rằng họ đã huy động được 640 triệu USD trong vòng gọi vốn mới do Blackrock dẫn đầu. Các nhà đầu tư khác bao gồm Neuberger Berman, Type One Ventures, Cisco, KDDI và Samsung Catalyst Fund.

Vòng gọi vốn này nâng tổng số vốn huy động được của Groq lên hơn 1 tỷ USD và định giá công ty ở mức 2,8 tỷ USD. Đây là một chiến thắng lớn đối với Groq, công ty được cho là ban đầu chỉ muốn huy động 300 triệu USD với mức định giá thấp hơn một chút (2,5 tỷ USD). Con số này đã tăng hơn gấp đôi mức định giá trước đó của Groq (~ 1 tỷ USD) vào tháng 4 năm 2021, khi công ty huy động được 300 triệu USD trong vòng gọi vốn do Tiger Global Management và D1 Capital Partners dẫn đầu.

Groq cũng thông báo rằng Yann LeCun – nhà khoa học AI kỳ cựu của Meta, sẽ đóng vai trò cố vấn kỹ thuật cho Groq và Stuart Pann – cựu giám đốc kinh doanh xưởng đúc của Intel và cựu CIO của HP, sẽ gia nhập startup với tư cách là giám đốc điều hành. Việc bổ nhiệm LeCun có phần bất ngờ, do Meta đã đầu tư vào chip AI của riêng mình, nhưng chắc chắn điều đó mang đến cho Groq một đồng minh mạnh mẽ trong một lĩnh vực cạnh tranh khốc liệt.

Groq – công ty xuất hiện từ chế độ bí mật vào năm 2016, đang tạo ra thứ mà họ gọi là công cụ suy luận LPU (bộ xử lý ngôn ngữ). Công ty tuyên bố LPU của họ có thể chạy các mô hình AI tạo sinh hiện có có kiến ​​trúc tương tự như ChatGPT và GPT-4o của OpenAI với tốc độ gấp 10 lần và năng lượng bằng 1/10.

Jonathan Ross – CEO của Groq, nổi tiếng với việc góp phần phát minh ra TPU (bộ xử lý tensor), chip tăng tốc AI tùy chỉnh của Google được sử dụng để đào tạo và chạy các mô hình. Ross đã hợp tác với Douglas Wightman, một doanh nhân và cựu kỹ sư tại phòng thí nghiệm Moonshot X của công ty mẹ Alphabet của Google, để đồng sáng lập Groq cách đây gần một thập kỷ.

Groq cung cấp một nền tảng dành cho nhà phát triển dựa trên LPU có tên là GroqCloud cung cấp các mô hình “mở” như họ Llama 3.1 của Meta, Gemma của Google, Whisper của OpenAI và Mixtral của Mistral, cũng như API cho phép khách hàng sử dụng chip của mình trong các trường hợp đám mây. (Groq cũng lưu trữ một sân chơi cho chatbot hỗ trợ AI, GroqChat, được ra mắt vào cuối năm ngoái.) Tính đến tháng 7, GroqCloud có hơn 356.000 nhà phát triển; Groq cho biết một phần số tiền thu được từ vòng gọi vốn sẽ được sử dụng để mở rộng quy mô năng lực và bổ sung các mô hình và tính năng mới.

“Nhiều nhà phát triển trong số này đến từ các doanh nghiệp lớn”, Stuart Pann – COO của Groq, nói với TechCrunch. “Theo ước tính của chúng tôi, hơn 75% trong số Fortune 100 được đại diện.”

Khi sự bùng nổ của AI tạo sinh tiếp tục, Groq phải đối mặt với sự cạnh tranh ngày càng tăng từ cả các công ty khởi nghiệp chip AI đối thủ và Nvidia – công ty đương nhiệm đáng gờm trong lĩnh vực phần cứng AI.

Nvidia kiểm soát khoảng 70% đến 95% thị trường chip AI được sử dụng để đào tạo và triển khai các mô hình AI tạo sinh và công ty đang thực hiện các bước đi mạnh mẽ để duy trì vị thế thống trị của mình.

Nvidia đã cam kết phát hành kiến trúc chip AI mới mỗi năm, thay vì hai năm một lần như trước đây. Và công ty được cho là đang thành lập một đơn vị kinh doanh mới tập trung vào việc thiết kế chip đặt riêng cho các công ty điện toán đám mây và những công ty khác, bao gồm cả phần cứng AI.

Ngoài Nvidia, Groq còn cạnh tranh với Amazon, Google và Microsoft, tất cả đều cung cấp — hoặc sẽ sớm cung cấp — chip tùy chỉnh cho khối lượng công việc AI trên đám mây. Amazon có bộ xử lý Trainium, Inferentia và Graviton, có sẵn thông qua AWS; Khách hàng của Google Cloud có thể sử dụng TPU đã nói ở trên và sau này là chip Axion của Google; và Microsoft gần đây đã ra mắt các phiên bản Azure ở bản xem trước cho CPU Cobalt 100 của mình, với các phiên bản Maia 100 AI Accelerator sẽ ra mắt trong vài tháng tới.

Groq cũng có thể coi Arm, Intel, AMD và ngày càng nhiều công ty khởi nghiệp là đối thủ cạnh tranh, trong thị trường chip AI có thể đạt doanh thu hàng năm 400 tỷ USD trong vòng 5 năm tới, theo một số nhà phân tích. Đặc biệt, Arm và AMD có các doanh nghiệp chip AI đang phát triển mạnh mẽ, nhờ chi tiêu vốn tăng vọt của các nhà cung cấp đám mây để đáp ứng nhu cầu về năng lực đối với AI tạo sinh.

D-Matrix vào cuối năm ngoái đã huy động được 110 triệu đô la để thương mại hóa thứ mà họ mô tả là nền tảng tính toán suy luận đầu tiên thuộc loại này. Vào tháng 6, Etched đã xuất hiện từ chế độ bí mật với 120 triệu đô la cho bộ xử lý được chế tạo riêng để tăng tốc kiến trúc mô hình AI tạo sinh thống trị hiện nay, máy biến áp. Masayoshi Son của SoftBank được cho là đang tìm cách huy động 100 tỷ đô la cho một liên doanh chip để cạnh tranh với Nvidia. Và OpenAI được cho là đang đàm phán với các công ty đầu tư để khởi động một sáng kiến sản xuất chip AI.

Để tạo dựng thị trường ngách của riêng mình, Groq đang đầu tư rất nhiều vào việc tiếp cận doanh nghiệp và chính phủ.

Vào tháng 3, Groq đã mua lại Definitive Intelligence, một công ty có trụ sở tại Palo Alto cung cấp một loạt các giải pháp AI theo định hướng kinh doanh, để thành lập một đơn vị kinh doanh mới có tên là Groq Systems. Trong phạm vi hoạt động của Groq Systems là phục vụ các tổ chức, bao gồm các cơ quan chính phủ Hoa Kỳ và các quốc gia có chủ quyền, muốn bổ sung chip của Groq vào các trung tâm dữ liệu hiện có hoặc xây dựng các trung tâm dữ liệu mới bằng cách sử dụng bộ xử lý Groq.

Gần đây hơn, Groq đã hợp tác với Carahsoft, một nhà thầu CNTT của chính phủ, để bán các giải pháp của mình cho các khách hàng khu vực công thông qua các đối tác bán lại của Carahsoft và công ty khởi nghiệp có thư bày tỏ ý định lắp đặt hàng chục nghìn LPU của mình tại trung tâm dữ liệu Na Uy của công ty Earth Wind & Power của Châu Âu.

Groq cũng đang hợp tác với công ty tư vấn Aramco Digital của Ả Rập Xê Út để lắp đặt LPU trong các trung tâm dữ liệu trong tương lai ở Trung Đông.

Đồng thời với việc thiết lập mối quan hệ với khách hàng, Groq – công ty có trụ sở tại Mountain View, California đang hướng tới thế hệ chip tiếp theo của mình. Tháng 8 năm ngoái, công ty đã thông báo rằng họ sẽ ký hợp đồng với mảng kinh doanh xưởng đúc của Samsung để sản xuất LPU 4nm, dự kiến sẽ mang lại hiệu suất và hiệu quả cao hơn so với chip 13nm thế hệ đầu tiên của Groq.

Groq cho biết họ có kế hoạch triển khai hơn 108.000 LPU vào cuối quý 1 năm 2025.