百度于6月30日正式宣布，其文心大模型4.5系列已全面開(kāi)源。此次開(kāi)源的模型系列包括了具有47B和3B激活參數(shù)的混合專家（MoE）模型，以及一款0.3B參數(shù)的稠密型模型等共10款模型。不僅如此，百度還實(shí)現(xiàn)了預(yù)訓(xùn)練權(quán)重和推理代碼的完全開(kāi)放，為用戶提供了極大的便利。

文心大模型4.5系列已在飛槳星河社區(qū)和HuggingFace等平臺(tái)上線，用戶可以直接下載并部署使用。同時(shí)，百度智能云千帆大模型平臺(tái)也提供了開(kāi)源模型的API服務(wù)，進(jìn)一步拓寬了模型的應(yīng)用場(chǎng)景。

早在今年年初，百度就已透露了文心大模型4.5系列的推出計(jì)劃，并確定了6月30日的開(kāi)源日期。這一系列模型在MoE架構(gòu)上進(jìn)行了創(chuàng)新，提出了一種全新的多模態(tài)異構(gòu)模型結(jié)構(gòu)，適用于從大語(yǔ)言模型向多模態(tài)模型的持續(xù)預(yù)訓(xùn)練。這一創(chuàng)新不僅保持了文本任務(wù)的性能，還顯著提升了多模態(tài)理解能力。

文心大模型4.5系列的技術(shù)優(yōu)勢(shì)主要體現(xiàn)在多模態(tài)混合專家模型預(yù)訓(xùn)練、高效訓(xùn)練推理框架以及針對(duì)模態(tài)的后訓(xùn)練等方面。這些關(guān)鍵技術(shù)的突破，使得模型在多模態(tài)理解上表現(xiàn)出色。同時(shí)，模型權(quán)重按照Apache 2.0協(xié)議開(kāi)源，為學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用提供了有力支持。

百度還基于飛槳平臺(tái)提供了開(kāi)源的產(chǎn)業(yè)級(jí)開(kāi)發(fā)套件，廣泛兼容多種芯片，降低了模型的后訓(xùn)練和部署門檻。這一舉措無(wú)疑將進(jìn)一步推動(dòng)文心大模型4.5系列在產(chǎn)業(yè)中的應(yīng)用和發(fā)展。

值得注意的是，此次文心大模型4.5系列的開(kāi)源，標(biāo)志著百度在框架層和模型層實(shí)現(xiàn)了“雙層開(kāi)源”。作為國(guó)內(nèi)AI領(lǐng)域的領(lǐng)軍企業(yè)，百度在算力、框架、模型到應(yīng)用的四層布局中構(gòu)建了顯著的AI全棧技術(shù)優(yōu)勢(shì)。飛槳作為中國(guó)首個(gè)自主研發(fā)、功能豐富的產(chǎn)業(yè)級(jí)深度學(xué)習(xí)平臺(tái)，為文心大模型4.5系列的開(kāi)源提供了堅(jiān)實(shí)的基礎(chǔ)。

與此同時(shí)，文心大模型開(kāi)發(fā)套件ERNIEKit和大模型高效部署套件FastDeploy也同步升級(jí)發(fā)布。這些套件為文心大模型4.5系列及開(kāi)發(fā)者提供了開(kāi)箱即用的工具和全流程支持，進(jìn)一步提升了模型的開(kāi)發(fā)和部署效率。