百度在人工智能領域再次邁出重要一步,正式向公眾開源了其最新的文心大模型4.5系列。此次開源的模型涵蓋了多種規格,包括擁有47B和3B激活參數的混合專家(MoE)模型,以及0.3B參數的稠密型模型等,共計10款。尤為引人注目的是,百度不僅開放了預訓練權重,還提供了推理代碼,實現了完全的開源。
文心大模型4.5系列現已在多個平臺上架,包括飛槳星河社區和HuggingFace,用戶可以在這些平臺上輕松下載并部署這些模型。同時,百度智能云千帆大模型平臺也提供了相應的開源模型API服務,進一步降低了用戶的使用門檻。
在技術創新方面,文心大模型4.5系列針對MoE架構進行了突破,提出了一種全新的多模態異構模型結構。這種結構使得模型能夠持續從大語言模型向多模態模型進行預訓練,從而在保持文本任務性能的同時,顯著提升了多模態理解能力。這一突破得益于多模態混合專家模型預訓練、高效訓練推理框架以及針對模態的后訓練等關鍵技術。
文心大模型4.5系列在飛槳深度學習框架的加持下,實現了高效訓練、推理和部署。在大語言模型的預訓練中,模型FLOPs利用率高達47%,這一數據彰顯了其卓越的性能。實驗結果顯示,文心大模型4.5系列在多個文本和多模態基準測試中均達到了行業領先水平,特別是在指令遵循、世界知識記憶、視覺理解和多模態推理等任務上表現尤為突出。
在文本模型領域,文心大模型4.5系列憑借其強大的基礎能力、高事實準確性、出色的指令遵循能力以及卓越的推理和編程能力,在多個主流基準評測中超越了DeepSeek-V3、Qwen3等模型。而在多模態模型方面,文心大模型4.5系列則以其卓越的視覺感知能力、豐富的視覺常識以及思考與非思考的統一,在視覺常識、多模態推理、視覺感知等評測中優于閉源的OpenAI o1模型。
文心大模型4.5系列的權重按照Apache 2.0協議進行開源,這意味著用戶可以自由地進行學術研究和產業應用。基于飛槳提供的開源產業級開發套件,文心大模型4.5系列能夠廣泛兼容多種芯片,進一步降低了模型的后訓練和部署難度。
作為國內AI領域的先行者,百度在算力、框架、模型到應用的四層布局中構建了顯著的AI全棧技術優勢。飛槳作為中國首個自主研發、功能豐富、開源開放的產業級深度學習平臺,為文心大模型4.5系列的開源提供了堅實的基礎。此次,百度同步升級發布了文心大模型開發套件ERNIEKit和大模型高效部署套件FastDeploy,為開發者和用戶提供了開箱即用的工具和全流程支持。
文心大模型4.5系列的開源,標志著百度在框架層和模型層實現了“雙層開源”,為整個行業樹立了新的標桿。這一舉措不僅將進一步推動AI技術的發展,還將為更多企業和開發者提供強有力的支持,共同推動人工智能產業的繁榮與發展。