百度在人工智能領域邁出了重要一步,正式推出了文心大模型4.5的開源版本,標志著國產通用大模型向更加開放和實用的方向邁進。這一里程碑式的進展,不僅展現了百度在AI技術上的持續創新,也為國內AI生態的發展注入了新的活力。
作為首批合作伙伴,模力方舟在文心大模型4.5開源首日便完成了全量接入與上線工作。用戶現在可以在模力方舟平臺上直接體驗并下載完整的模型權重,進行自主部署和深度定制,極大地提升了大模型的可用性和實用性。
文心大模型4.5系列共包含了10款開源模型,其中涵蓋了參數規模分別為47B和3B的混合專家(MoE)模型,以及參數規模為0.3B的稠密參數模型。最大的模型總參數量更是達到了驚人的424B。這些模型均采用了飛槳深度學習框架進行高效訓練、推理和部署,模型FLOPs利用率高達47%。
針對MoE架構,百度提出了一種創新性的多模態異構模型結構。通過跨模態參數共享機制,實現了模態間知識的有效融合,同時為各單一模態保留了專用參數空間。這一架構不僅適用于從大語言模型向多模態模型的持續預訓練范式,還在保持甚至提升文本任務性能的基礎上,顯著增強了多模態理解能力。
文心大模型4.5系列模型在多個文本和多模態基準測試中均達到了業界領先水平,特別是在指令遵循、世界知識記憶、視覺理解和多模態推理任務上表現尤為突出。這些模型權重按照Apache 2.0協議進行開源,支持學術研究和產業應用。同時,基于飛槳提供的開源產業級開發套件,這些模型還廣泛兼容多種芯片,降低了后訓練和部署的門檻。
在技術優勢方面,文心大模型4.5采用了多模態混合專家模型預訓練方法,通過在文本和視覺兩種模態上進行聯合訓練,更好地捕捉了多模態信息中的細微差別,提升了在文本生成、圖像理解以及多模態推理等任務中的表現。百度還提出了高效訓練推理框架和針對模態的后訓練方法,進一步提升了模型的性能和實用性。
作為領先的國產人工智能服務平臺,模力方舟一直致力于提供開放、輕量、易用的大模型服務。此次文心大模型4.5的上線,進一步完善了模力方舟在國產主力模型方向的覆蓋能力,為用戶提供了更多具備工程可落地性的模型選項。用戶無需本地部署,即可在模力方舟平臺上即開即用模型,同時支持API調用與在線交互,便于接入現有業務。
模力方舟還依托國產GPU架構,為用戶提供了強大的算力支撐,使得用戶能夠以極低的價格體驗大模型推理。同時,模力方舟還全面適配了國產生態,兼容本地私有化部署、國密標準與信創環境,為用戶提供了更加靈活和安全的模型使用體驗。
百度與模力方舟的合作不僅是一次技術上的對接,更是國產模型生態共建的一次重要嘗試。雙方將攜手推動國產大模型的發展和應用,為更多開發者和企業用戶提供更加優質、高效的AI服務。