Đang dịch bài sang tiếng Việt…
Bài dài (2 phần) được dịch theo đợt, đợt này có thể mất tới nửa phút. Bản dịch được lưu lại, lần sau mở ngay.
Cerebras công bố hệ thống inference phân tán, tách biệt tài nguyên tính toán và bộ nhớ để nâng cao khả năng mở rộng và hiệu suất cho các mô hình AI lớn. Cách tiếp cận này nhằm giảm độ trễ và tăng tính linh hoạt trong việc triển khai các tải inference trên các cấu hình phần cứng đa dạng.

Đang dịch bài sang tiếng Việt…
Bài dài (2 phần) được dịch theo đợt, đợt này có thể mất tới nửa phút. Bản dịch được lưu lại, lần sau mở ngay.
Chúng tôi đã triển khai Cerebras Wafer Scale Engines cùng với GPU để cung cấp token tốc độ ánh sáng ở quy mô lớn
Thế giới đang khao khát token siêu nhanh. Vào năm 2026, Cerebras đã chứng kiến nhu cầu không ngừng về suy luận nhanh, cả trên đám mây suy luận của chúng tôi và thông qua các đối tác. Để đáp ứng nhu cầu, chúng tôi bắt đầu phát triển suy luận tách rời: GPU xử lý tiền xử lý lời nhắc (prefill) và hệ thống Cerebras xử lý tạo ra đầu ra (decode).
Giải pháp này hiện đã vào sản xuất và mang lại gấp năm lần token trên mỗi megawatt với tốc độ siêu nhanh của Cerebras.
Chúng tôi giờ có thể cung cấp nhiều token siêu nhanh hơn qua Cerebras Inference Cloud để đáp ứng nhu cầu thị trường. Các đối tác hạ tầng cũng có thể tận dụng giải pháp tách rời của Cerebras để đạt được nhiều token siêu nhanh hơn trong các trung tâm dữ liệu của họ.
Cùng với CS-4 vừa công bố, quy mô sản xuất được mở rộng đáng kể, và kế hoạch 700MW công suất trung tâm dữ liệu, suy luận tách rời sẽ cho phép Cerebras và các đối tác phục vụ nhiều token siêu nhanh hơn vào năm 2027 và sau đó.
Trong blog này chúng tôi sẽ đề cập tới:
Những ứng dụng có tính năng tự động như Muse, Copilot và Codex đang mở rộng nhanh chóng và đòi hỏi suy luận tương tác cao để giữ người dùng tham gia. Để đáp ứng nhu cầu ngày càng tăng của các ứng dụng này trong môi trường bị giới hạn năng lượng, ngành của chúng ta phải cung cấp khả năng suy luận nhiều hơn đáng kể trên mỗi megawatt, với tốc độ phản hồi đủ nhanh để các ứng dụng này thực sự hữu ích.
Sources: Goldman Sachs Research, “AI Agents Forecast to Boost Tech Cash Flow as Usage Soars,” May 20, 2026; Goldman Sachs data center capacity estimates, as reported by Investing.com, November 6, 2026.
Đó là lý do tại sao Cerebras đã đầu tư vào tách rời. Kết hợp bộ tăng tốc prefill cho xử lý lời nhắc với Hệ thống Cerebras cho việc tạo phản hồi tăng năng suất token trên mỗi megawatt đồng thời giữ tốc độ tạo siêu nhanh của Cerebras. Đối với các nhà cung cấp suy luận, điều này có nghĩa là khả năng phục vụ khách hàng cao hơn và tiềm năng doanh thu lớn hơn từ cùng một ngân sách năng lượng.
Một yêu cầu suy luận có hai giai đoạn chính. Xử lý lời nhắc, gọi là prefill, xử lý đầu vào và tạo ra trạng thái mô hình trung gian. Tạo phản hồi, gọi là decode, sử dụng trạng thái đó để sinh ra các token đầu ra. Có nhiều cách để chia tải suy luận, bao gồm draft–target và attention–FFN, nhưng tách prefill ra khỏi decode mang lại lợi thế đặc biệt khi mục tiêu là suy luận tương tác cao.
Decode là tự hồi quy. Điều đó có nghĩa mô hình sinh một token mỗi lần, sử dụng mỗi token đã sinh làm đầu vào cho token tiếp theo. Mỗi bước đều phải đọc dữ liệu mô hình từ bộ nhớ lại, vì vậy băng thông bộ nhớ rất quan trọng. Trong lĩnh vực suy luận siêu nhanh, các chip tập trung vào SRAM có lợi thế vì chúng có thể giữ dữ liệu trên chip và đọc nhanh hơn nhiều. Cerebras mở rộng điều này lên quy mô wafer, với hàng chục gigabyte SRAM và hàng chục petabyte/giây băng thông bộ nhớ trên một chip duy nhất — 350× dung lượng SRAM và 5.400× băng thông bộ nhớ so với một GPU GB300 điển hình. Điều này cho phép Hệ thống Cerebras chứa nhiều yêu cầu đồng thời và các lớp mô hình trực tiếp trên chip, giúp CS-3, CS-4 và CS-5 đạt tốc độ siêu nhanh với thông lượng hấp dẫn.
Kết hợp các hệ thống Cerebras, được tối ưu cho decode siêu nhanh, với các bộ tăng tốc phù hợp với nhu cầu tính toán của prefill, như GPU AMD Instinct, cho phép cung cấp một lượng lớn suy luận siêu nhanh ở quy mô lớn. Trong một triển khai sản xuất trên Cerebras Inference Cloud, GPU AMD Instinct xử lý lời nhắc, và hệ thống Cerebras CS-3 tạo ra phản hồi. Việc chuyển xử lý lời nhắc sang GPU cho phép hệ thống Cerebras tập trung năng lực phục vụ vào việc tạo phản hồi. Trong triển khai sản xuất đã đo lường, sự kết hợp này mang lại thông lượng gấp 5 lần trên mỗi megawatt so với cấu hình chỉ dùng CS-3, mà không làm giảm tốc độ sinh token.
Source: November 14th shared GPT-OSS-120B endpoint via the Cerebras Inference Cloud throughput per megawatt before and after enabling disaggregated inference, normalized to the aggregated inference baseline (1×).
Chúng tôi dự định triển khai suy luận tách rời rộng rãi trên hàng trăm megawatt trong Cerebras Inference Cloud và trong các triển khai của đối tác vào cuối năm 2027. Mục tiêu của chúng tôi là tăng khả năng suy luận siêu nhanh có sẵn cho khách hàng.
Giải pháp suy luận tách rời của Cerebras cũng được xây dựng để các đối tác có thể áp dụng. Các đối tác hạ tầng có thể triển khai cụm suy luận tách rời dựa trên kiến trúc tham chiếu do Cerebras cung cấp, đồng thời đặt các bộ tăng tốc prefill đã chọn và hệ thống Cerebras trong một mạng thống nhất. Đối với tích hợp phần mềm, các đối tác có thể tích hợp với ngăn xếp phần mềm tách rời đầu cuối của Cerebras hoặc SDK chỉ decode.
Ngăn xếp phần mềm tách rời đầu cuối phù hợp nhất cho các đối tác muốn tối ưu thời gian đưa sản phẩm ra thị trường. Nó bao gồm:
SDK chỉ giải mã phù hợp nhất cho các đối tác tối ưu hóa kiểm soát. Với SDK chỉ giải mã, các đối tác có thể mang khung suy luận và động cơ tiền điền riêng của mình vào động cơ giải mã của Cerebras và phần mềm KV Portal. Ngoài ra, SDK chỉ giải mã còn cung cấp các công cụ hỗ trợ phát triển như một bản sao mô phỏng giải mã của Cerebras và một tích hợp tham khảo tới một khung suy luận phân tán mã nguồn mở và động cơ tiền điền.
Các đối tác truy cập sớm, bao gồm Amazon Web Services, Fireworks AI, Gimlet Labs và General Compute, đã có quyền truy cập vào giải pháp phân tán của Cerebras cho các triển khai của họ. Hiện chúng tôi đang mở rộng quyền truy cập cho các đối tác khác muốn mang suy luận siêu nhanh tới khách hàng của họ ở quy mô lớn.
Để thảo luận chi tiết hơn về kết quả, giải pháp hoặc cơ hội triển khai, hãy liên hệ với chúng tôi tại đây.
Bản dịch tự động bằng AI, thuật ngữ giữ nguyên tiếng Anh.