高通公司今日正式推出面向數據中心的新一代AI推理優化方案，包含基于AI200和AI250芯片的加速卡及機架系統。該系列解決方案專為大規模語言模型和多模態模型（LLM/LMM）的推理任務設計，在性能、能效和成本方面實現突破性優化。
AI200機架解決方案采用768GB LPDDR內存配置，通過提升內存容量和降低單位成本，為AI推理工作負載提供更具競爭力的總擁有成本（TCO）。該方案支持PCIe和以太網擴展接口，并集成機密計算技術，確保AI任務在160kW高功耗機架中的安全運行。直接液冷技術的引入使散熱效率顯著提升，滿足超大規模數據中心對能效的嚴苛要求。
AI250解決方案則通過近內存計算架構實現技術革新，內存帶寬提升超過10倍的同時降低功耗。這種創新設計使AI推理任務在處理復雜模型時獲得更高效率，特別適用于對實時性要求嚴苛的應用場景。兩款產品均配備高通自主研發的超大規模AI軟件棧，該軟件體系覆蓋從應用層到系統層的全鏈條優化。
高通AI軟件棧支持主流機器學習框架和生成式AI工具鏈，內置的LLM/LMM推理優化技術包含解耦合服務等創新功能。開發者可通過Efficient Transformers庫和AI推理套件，實現模型向高通平臺的無縫遷移，并支持Hugging Face模型庫的一鍵部署功能。軟件體系還提供完整的AI運營工具鏈，涵蓋應用開發、代理服務、API接口及運維服務等模塊。
資本市場對高通此次技術突破作出積極回應，公司股價在消息發布后出現顯著上漲，單日漲幅達20%。據技術路線圖顯示，AI200加速卡將于2026年進入商用階段，AI250解決方案則計劃在2027年推向市場。這兩款產品的推出將進一步鞏固高通在數據中心AI加速領域的市場地位。
