百度文心大模型4.5系列于近日正式向公眾開源，并在GitCode這一國內(nèi)頂尖的開源平臺上首發(fā)亮相。此次開源旨在為眾多企業(yè)和開發(fā)者提供一套實(shí)用性強(qiáng)、易于上手且能迅速落地的大模型解決方案。

現(xiàn)在，全球范圍內(nèi)的開發(fā)者、企業(yè)及研究機(jī)構(gòu)都能通過GitCode平臺，免費(fèi)訪問并下載文心大模型4.5系列，以滿足不同場景下的部署、微調(diào)等需求。誠邀各界人士下載體驗(yàn)，一同踏上文心大模型的探索之旅。

文心大模型4.5系列涵蓋了多款開源模型，其中包括混合專家（MoE）模型，其激活參數(shù)規(guī)模分別為47B和3B（最大模型總參數(shù)量高達(dá)424B），以及參數(shù)規(guī)模為0.3B的稠密參數(shù)模型，總計(jì)達(dá)10款。針對MoE架構(gòu)，百度提出了創(chuàng)新的多模態(tài)異構(gòu)模型結(jié)構(gòu)，通過跨模態(tài)參數(shù)共享機(jī)制，實(shí)現(xiàn)了模態(tài)間知識的有效融合，同時(shí)保留了各模態(tài)的專用參數(shù)空間。這一架構(gòu)非常適合從大語言模型向多模態(tài)模型的持續(xù)預(yù)訓(xùn)練，能在保持或提升文本任務(wù)性能的同時(shí)，顯著提升多模態(tài)理解能力。

文心4.5系列模型依托飛槳深度學(xué)習(xí)框架，實(shí)現(xiàn)了高效的訓(xùn)練、推理和部署。在預(yù)訓(xùn)練中，模型的FLOPs利用率（MFU）達(dá)到了47%。實(shí)驗(yàn)數(shù)據(jù)表明，該系列模型在多個(gè)文本和多模態(tài)基準(zhǔn)測試中均達(dá)到了業(yè)界領(lǐng)先水平，特別是在指令遵循、世界知識記憶、視覺理解及多模態(tài)推理等任務(wù)上表現(xiàn)尤為突出。模型權(quán)重遵循Apache 2.0協(xié)議進(jìn)行開源，支持學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用。借助飛槳提供的開源產(chǎn)業(yè)級開發(fā)套件，該系列模型廣泛兼容多種芯片，降低了后訓(xùn)練和部署的難度。

自2023年9月22日上線以來，GitCode平臺迅速崛起，已擁有超過620萬的注冊用戶和120萬的月活用戶，成為了極具影響力的開源社區(qū)。這一龐大的用戶基礎(chǔ)和活躍的社區(qū)氛圍，為文心大模型的推廣和應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)和廣闊的發(fā)展空間。

作為全球開源生態(tài)的關(guān)鍵一環(huán)，GitCode平臺憑借AI原生基因，不斷優(yōu)化開發(fā)者體驗(yàn)。平臺集成了先進(jìn)的代碼托管服務(wù)，支持全面的版本控制、分支管理和協(xié)作開發(fā)功能，使開發(fā)者能夠便捷地上傳、管理和分享代碼倉庫，享受流暢的協(xié)同開發(fā)過程。GitCode還提供了豐富的開源組件庫和多樣化的開發(fā)工具，無論是個(gè)人項(xiàng)目還是企業(yè)級應(yīng)用，都能獲得安全、穩(wěn)定和高效的代碼托管解決方案，助力開發(fā)者實(shí)現(xiàn)卓越的代碼管理與協(xié)作。

百度文心大模型與GitCode平臺的深度融合，正引領(lǐng)一場技術(shù)層面的范式變革。這一融合不僅革新了傳統(tǒng)的AI開發(fā)模式，還推動(dòng)了中國開源生態(tài)的繁榮發(fā)展，加速了AI產(chǎn)業(yè)生態(tài)的壯大和可持續(xù)發(fā)展。可以預(yù)見，未來基于文心大模型的創(chuàng)新應(yīng)用將層出不窮，為各行各業(yè)帶來前所未有的變革與機(jī)遇。