百度今日正式對(duì)外宣布,其文心大模型4.5系列已如期實(shí)現(xiàn)開(kāi)源,并同步提供API服務(wù),這一舉措標(biāo)志著百度在AI領(lǐng)域的又一重大突破。
本次開(kāi)源,百度一次性推出了涵蓋多種任務(wù)需求的10款模型,參數(shù)規(guī)模從輕量級(jí)的0.3B稠密型模型到47B參數(shù)的混合專(zhuān)家(MoE)模型不等,覆蓋了文本處理和多模態(tài)應(yīng)用等多個(gè)領(lǐng)域。開(kāi)發(fā)者們可以通過(guò)飛槳星河社區(qū)、HuggingFace以及百度智能云千帆平臺(tái)直接下載使用這些模型。
值得注意的是,文心大模型4.5系列的開(kāi)源遵循Apache 2.0協(xié)議,為學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用提供了極大的便利。此次開(kāi)源不僅包括了模型的權(quán)重和代碼,還提供了API服務(wù),進(jìn)一步降低了開(kāi)發(fā)門(mén)檻。
在技術(shù)層面,文心大模型4.5系列展現(xiàn)出了卓越的性能。針對(duì)MoE架構(gòu),百度提出了一種創(chuàng)新性的多模態(tài)異構(gòu)模型結(jié)構(gòu),該結(jié)構(gòu)在保持甚至提升文本任務(wù)性能的同時(shí),顯著增強(qiáng)了多模態(tài)理解能力。這一優(yōu)越性能得益于多模態(tài)混合專(zhuān)家模型預(yù)訓(xùn)練、高效訓(xùn)練推理框架以及針對(duì)模態(tài)的后訓(xùn)練等關(guān)鍵技術(shù)。
文心大模型4.5系列均使用飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署。在大語(yǔ)言模型的預(yù)訓(xùn)練中,模型FLOPs利用率(MFU)高達(dá)47%,這一數(shù)據(jù)充分展示了飛槳框架的高效性和穩(wěn)定性。
實(shí)驗(yàn)結(jié)果顯示,文心大模型4.5系列在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中均達(dá)到了業(yè)界領(lǐng)先水平。特別是在指令遵循、世界知識(shí)記憶、視覺(jué)理解和多模態(tài)推理等任務(wù)上,該系列模型展現(xiàn)出了卓越的性能。在文本模型方面,文心大模型4.5系列在多個(gè)主流基準(zhǔn)評(píng)測(cè)中超越了DeepSeek-V3、Qwen3等模型;在多模態(tài)模型方面,其基于強(qiáng)大的視覺(jué)感知能力和豐富的視覺(jué)常識(shí),在多項(xiàng)評(píng)測(cè)中優(yōu)于閉源的OpenAI模型。
在輕量模型方面,文心4.5系列同樣表現(xiàn)出色。文心4.5-21B-A3B-Base文本模型的效果與同量級(jí)的Qwen3相當(dāng),而文心4.5-VL-28B-A3B多模態(tài)模型在同量級(jí)開(kāi)源模型中更是達(dá)到了業(yè)界領(lǐng)先水平,甚至能與更大參數(shù)的模型如Qwen2.5-VL-32B相媲美。
為了進(jìn)一步提升開(kāi)發(fā)者的使用體驗(yàn),百度還同步發(fā)布了文心大模型開(kāi)發(fā)套件ERNIEKit和大模型高效部署套件FastDeploy。這兩個(gè)套件為文心大模型4.5系列及開(kāi)發(fā)者提供了開(kāi)箱即用的工具和全流程支持,進(jìn)一步簡(jiǎn)化了模型的開(kāi)發(fā)和部署過(guò)程。
作為國(guó)內(nèi)最早投入AI研發(fā)的企業(yè)之一,百度在算力、框架、模型到應(yīng)用的四層布局上構(gòu)建了顯著的AI全棧技術(shù)優(yōu)勢(shì)。此次文心大模型4.5系列的開(kāi)源,不僅展示了百度在AI技術(shù)上的深厚積累,也為整個(gè)行業(yè)的發(fā)展注入了新的活力。