Hệ thống AI mới của Qualcomm hứa hẹn băng thông gấp 10 lần, tiêu thụ điện năng thấp hơn

Qualcomm đã ra mắt các bộ tăng tốc suy luận AI thế hệ tiếp theo, AI200 và AI250, được thiết kế để nâng cao đáng kể hiệu suất AI tạo sinh trong trung tâm dữ liệu với hiệu quả và khả năng mở rộng được cải thiện. Card AI200 hỗ trợ 768 GB bộ nhớ LPDDR, cho phép suy luận các mô hình ngôn ngữ quy mô lớn và đa phương thức với trọng tâm giảm tổng chi phí sở hữu (TCO). Dựa trên đó, AI250 giới thiệu kiến trúc tính toán gần bộ nhớ, mang lại băng thông bộ nhớ hiệu quả cao hơn 10 lần và giảm đáng kể tiêu thụ điện năng, tạo điều kiện cho suy luận AI phân tán hiệu quả hơn. Cả hai giải pháp đều có làm mát bằng chất lỏng trực tiếp, PCIe để mở rộng theo chiều dọc, Ethernet để mở rộng theo chiều ngang, và mức tiêu thụ điện năng ở cấp giá đỡ là 160 kW, hướng tới hiệu suất cấp độ hyperscaler với tính bền vững được đặt lên hàng đầu. Qualcomm nhấn mạnh sự tích hợp liền mạch thông qua một bộ phần mềm phong phú và hệ sinh thái mở, hỗ trợ các khung AI chính và cho phép triển khai mô hình đã được huấn luyện sẵn chỉ với một cú nhấp chuột. Các công cụ phần mềm của họ, bao gồm Thư viện Efficient Transformers và Bộ công cụ Suy luận AI, giúp các nhà phát triển dễ dàng vận hành các mô hình AI.