百度近日宣布,文心大模型4.5系列正式面向公眾開源,此次開源涵蓋了多款模型,其中包括擁有47B和3B激活參數的混合專家(MoE)模型,以及參數量為0.3B的稠密型模型等,總計達到10款。值得注意的是,百度不僅公開了這些模型的預訓練權重,還提供了推理代碼,實現了完全的開源。
文心大模型4.5系列現已在多個平臺上架,用戶可以在飛槳星河社區、HuggingFace等平臺下載并部署這些模型。同時,百度智能云千帆大模型平臺也提供了相應的開源模型API服務,進一步降低了使用門檻。
百度此次開源的文心大模型4.5系列,在多個關鍵維度上均展現出了行業領先的優勢。無論是獨立自研的模型數量占比,還是模型類型的多樣性、參數的豐富程度,以及開源的寬松度和可靠性,百度都交出了亮眼的成績單。
文心大模型4.5系列在MoE架構上進行了創新,提出了一種全新的多模態異構模型結構。這種結構不僅適用于從大語言模型向多模態模型的持續預訓練,還在保持或提升文本任務性能的同時,顯著增強了模型的多模態理解能力。文心大模型4.5系列的權重按照Apache 2.0協議進行開源,為學術研究和產業應用提供了有力支持。
基于飛槳這一中國首個自主研發、功能豐富的產業級深度平臺,百度此次還同步發布了文心大模型開發套件ERNIEKit和大模型高效部署套件FastDeploy。這兩個套件為文心大模型4.5系列及開發者提供了從開發到部署的全流程支持,大大降低了模型的后訓練和部署難度。同時,飛槳的廣泛兼容性也使得這些模型能夠在多種芯片上運行,進一步拓寬了應用場景。
此次文心大模型4.5系列的開源,標志著百度在框架層和模型層都實現了開源。這一舉措不僅展示了百度在人工智能領域的深厚積累,也為行業內外提供了寶貴的技術資源和創新動力。