百度今日正式對外宣布,其文心大模型4.5系列已如期實(shí)現(xiàn)開源,并同步推出了API服務(wù)。此次開源行動,百度一次性推出了涵蓋多個(gè)任務(wù)需求的10款開源模型,參數(shù)規(guī)模從輕量級的0.3B稠密型模型到47B參數(shù)的混合專家(MoE)模型不等。
百度文心大模型4.5系列的此次開源,不僅包括了模型權(quán)重和代碼的完全開放,還提供了便捷的API接口,開發(fā)者可以通過飛槳星河社區(qū)、HuggingFace以及百度智能云千帆平臺直接下載并使用這些模型。值得注意的是,此次開源遵循的是Apache 2.0協(xié)議,為學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用提供了廣闊的空間。
在文心大模型4.5系列中,百度創(chuàng)新性地提出了一種多模態(tài)異構(gòu)模型結(jié)構(gòu),特別適用于從大語言模型向多模態(tài)模型的持續(xù)預(yù)訓(xùn)練。這種結(jié)構(gòu)在保持文本任務(wù)性能的同時(shí),顯著增強(qiáng)了多模態(tài)理解能力,得益于多模態(tài)混合專家模型預(yù)訓(xùn)練、高效訓(xùn)練推理框架以及針對模態(tài)的后訓(xùn)練等關(guān)鍵技術(shù)。
文心大模型4.5系列均基于飛槳深度學(xué)習(xí)框架進(jìn)行訓(xùn)練、推理和部署,其在大語言模型預(yù)訓(xùn)練中的模型FLOPs利用率(MFU)達(dá)到了47%,顯示出高效的計(jì)算性能。實(shí)驗(yàn)結(jié)果顯示,這些模型在多個(gè)文本和多模態(tài)基準(zhǔn)測試中均達(dá)到了業(yè)界領(lǐng)先水平,特別是在指令遵循、世界知識記憶、視覺理解和多模態(tài)推理任務(wù)上表現(xiàn)突出。
在文本模型方面,文心大模型4.5系列在多個(gè)主流基準(zhǔn)評測中超越了其他知名模型,如DeepSeek-V3和Qwen3。而在多模態(tài)模型領(lǐng)域,基于強(qiáng)大的視覺感知能力和豐富的視覺常識,文心大模型4.5系列在視覺常識、多模態(tài)推理、視覺感知等評測中優(yōu)于閉源的OpenAI模型。在輕量級模型上,文心大模型4.5系列也展現(xiàn)出了卓越的性能,與同級別的開源模型相比毫不遜色。
作為國內(nèi)AI領(lǐng)域的先行者,百度在算力、框架、模型到應(yīng)用的全棧布局上構(gòu)建了顯著的技術(shù)優(yōu)勢。飛槳作為中國首個(gè)自主研發(fā)的產(chǎn)業(yè)級深度學(xué)習(xí)平臺,為文心大模型4.5系列的開源提供了強(qiáng)有力的支持。此次開源,百度還同步升級發(fā)布了文心大模型開發(fā)套件ERNIEKit和大模型高效部署套件FastDeploy,為開發(fā)者提供了從模型開發(fā)到部署的全流程支持,大大降低了模型應(yīng)用的門檻。
文心大模型4.5系列的開源,標(biāo)志著百度在框架層和模型層均實(shí)現(xiàn)了“雙層開源”。這一舉措不僅將進(jìn)一步推動AI技術(shù)的普及和應(yīng)用,也將為AI領(lǐng)域的創(chuàng)新和發(fā)展注入新的活力。