百度近日宣布了一項重大舉措,正式對外開源了其文心大模型4.5系列,這一系列涵蓋了多達10款模型,包括擁有47B和3B激活參數(shù)的混合專家(MoE)模型,以及一款0.3B參數(shù)的稠密型模型。尤為百度不僅開放了預(yù)訓(xùn)練權(quán)重,還一并公開了推理代碼,實現(xiàn)了真正的全面開源。
目前,開發(fā)者已經(jīng)可以在飛槳星河社區(qū)、HuggingFace等多個平臺上下載并部署文心大模型4.5系列。同時,百度智能云千帆大模型平臺也提供了開源模型的API服務(wù),進一步降低了使用門檻。
百度此次開源的10款模型,在多個關(guān)鍵維度上均展現(xiàn)出了行業(yè)領(lǐng)先地位。無論是獨立自研的模型數(shù)量,還是模型類型的多樣性、參數(shù)的豐富程度,乃至開源的寬松度和可靠性,百度都表現(xiàn)出了強大的競爭力。
文心大模型4.5系列在MoE架構(gòu)上進行了創(chuàng)新,提出了一種全新的多模態(tài)異構(gòu)模型結(jié)構(gòu)。這種結(jié)構(gòu)不僅適用于從大語言模型向多模態(tài)模型的持續(xù)預(yù)訓(xùn)練,而且在保持或提升文本任務(wù)性能的同時,顯著增強了多模態(tài)理解能力。這一突破主要得益于多模態(tài)混合專家模型預(yù)訓(xùn)練、高效訓(xùn)練推理框架以及針對模態(tài)的后訓(xùn)練等關(guān)鍵技術(shù)。
所有文心大模型4.5系列均基于飛槳深度學(xué)習(xí)框架進行訓(xùn)練、推理和部署,實現(xiàn)了高效的資源利用。在大語言模型的預(yù)訓(xùn)練中,模型的FLOPs利用率高達47%,彰顯了飛槳框架的強大性能。
實驗數(shù)據(jù)表明,文心大模型4.5系列在多個文本和多模態(tài)基準(zhǔn)測試中均達到了業(yè)界領(lǐng)先水平。特別是在指令遵循、世界知識記憶、視覺理解和多模態(tài)推理等任務(wù)上,其表現(xiàn)尤為突出。
在文本模型方面,文心大模型4.5系列展現(xiàn)出了強大的基礎(chǔ)能力、高事實準(zhǔn)確性、出色的指令遵循能力以及卓越的推理和編程能力。在多個主流基準(zhǔn)評測中,它甚至超越了DeepSeek-V3、Qwen3等模型,彰顯了其強大的競爭力。
而在多模態(tài)模型領(lǐng)域,文心大模型4.5系列同樣表現(xiàn)出色。它擁有卓越的視覺感知能力和豐富的視覺常識,實現(xiàn)了思考與非思考的統(tǒng)一。在視覺常識、多模態(tài)推理、視覺感知等主流評測中,它的表現(xiàn)優(yōu)于閉源的OpenAI o1模型。
文心大模型4.5系列在輕量模型上也取得了顯著成果。例如,文心4.5-21B-A3B-Base文本模型的效果與同量級的Qwen3相當(dāng),而文心4.5-VL-28B-A3B多模態(tài)模型則是目前同量級中最好的多模態(tài)開源模型,其性能甚至與更大參數(shù)的Qwen2.5-VL-32B模型不相上下。
文心大模型4.5系列的權(quán)重按照Apache 2.0協(xié)議進行開源,這為學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用提供了極大的便利。同時,基于飛槳提供的開源產(chǎn)業(yè)級開發(fā)套件,這些模型可以廣泛兼容多種芯片,進一步降低了模型的后訓(xùn)練和部署門檻。
作為國內(nèi)AI研發(fā)的先行者之一,百度在算力、框架、模型到應(yīng)用的全鏈條布局上構(gòu)建了顯著的AI全棧技術(shù)優(yōu)勢。飛槳作為中國首個自主研發(fā)、功能豐富、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺,經(jīng)過多年的積累,已經(jīng)形成了完善的開源技術(shù)與生態(tài)系統(tǒng)。
此次文心大模型4.5系列的開源發(fā)布,還同步升級了文心大模型開發(fā)套件ERNIEKit和大模型高效部署套件FastDeploy。這些工具為文心大模型4.5系列及開發(fā)者提供了開箱即用的便捷體驗和全流程支持,進一步推動了AI技術(shù)的普及和應(yīng)用。