近日,人工智能領域迎來重要進展——深度求索公司(DeepSeek)正式推出DeepSeek-V3.2-Exp模型。該模型在V3.1-Terminus版本基礎上,創(chuàng)新引入DeepSeek Sparse Attention稀疏注意力機制,重點針對長文本場景的訓練與推理效率展開技術突破,通過優(yōu)化算法結構顯著提升計算資源利用率。
同步傳來利好消息,寒武紀科技宣布完成對DeepSeek-V3.2-Exp模型的全面適配,并開源其自主研發(fā)的大模型推理引擎vLLM-MLU源代碼。此舉意味著開發(fā)者可直接在寒武紀軟硬件一體化平臺上部署該模型,體驗新機制帶來的性能提升。
作為AI芯片領域的領軍企業(yè),寒武紀持續(xù)深化"芯片+算法"協(xié)同創(chuàng)新戰(zhàn)略。通過軟硬件深度融合優(yōu)化,其平臺此前已實現(xiàn)DeepSeek系列模型業(yè)界領先的算力利用率。針對最新模型架構,研發(fā)團隊采用Triton算子開發(fā)與BangC融合算子技術,結合計算通信并行策略,再次刷新計算效率紀錄。
技術融合帶來的效益顯著。雙方合作顯示,DeepSeek Sparse Attention機制與寒武紀高效率計算架構的疊加效應,可使長序列場景下的訓練與推理成本降低30%以上。這種軟硬協(xié)同的解決方案,為金融分析、生物醫(yī)藥等需要處理超長文本的行業(yè)提供了更具性價比的技術路徑。
目前,寒武紀已建立完整的模型適配工具鏈,支持從算子開發(fā)到性能調優(yōu)的全流程自動化。開發(fā)者通過開源引擎可快速實現(xiàn)模型遷移,而企業(yè)用戶則能直接獲得經過驗證的優(yōu)化方案,這種開放生態(tài)策略正在重塑AI基礎設施的技術標準。













