百度文心大模型4.5系列近日宣布正式開(kāi)源，并在國(guó)內(nèi)知名的GitCode開(kāi)源平臺(tái)上首發(fā)亮相。這一舉措為企業(yè)和開(kāi)發(fā)者們帶來(lái)了切實(shí)可行的大模型解決方案，旨在推動(dòng)AI技術(shù)的廣泛應(yīng)用。

現(xiàn)在，全球范圍內(nèi)的開(kāi)發(fā)者、企業(yè)及研究機(jī)構(gòu)都能在GitCode平臺(tái)上免費(fèi)訪問(wèn)并下載文心大模型4.5系列，滿足各種部署和微調(diào)需求。無(wú)論是對(duì)模型進(jìn)行定制化處理，還是在特定場(chǎng)景下應(yīng)用，都變得更加便捷。

文心大模型4.5系列共包含10款開(kāi)源模型，其中混合專家（MoE）模型尤為引人注目。這些模型包括參數(shù)規(guī)模分別為47B和3B的版本，最大的模型總參數(shù)量更是達(dá)到了424B，此外還有0.3B的稠密參數(shù)模型。這一系列模型不僅參數(shù)豐富，還在性能上取得了顯著突破。

百度在MoE架構(gòu)上提出了一種創(chuàng)新的多模態(tài)異構(gòu)模型結(jié)構(gòu)。該結(jié)構(gòu)通過(guò)跨模態(tài)參數(shù)共享機(jī)制，實(shí)現(xiàn)了模態(tài)間的知識(shí)融合，同時(shí)為每個(gè)單一模態(tài)保留了專用參數(shù)空間。這一設(shè)計(jì)使得模型能夠在大語(yǔ)言模型的基礎(chǔ)上，向多模態(tài)模型持續(xù)預(yù)訓(xùn)練，不僅保持了文本任務(wù)的性能，還顯著增強(qiáng)了多模態(tài)理解能力。

文心大模型4.5系列全部采用飛槳深度學(xué)習(xí)框架進(jìn)行訓(xùn)練、推理和部署。在預(yù)訓(xùn)練過(guò)程中，模型的FLOPs利用率高達(dá)47%，展現(xiàn)了高效性。實(shí)驗(yàn)結(jié)果顯示，這些模型在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中均達(dá)到了業(yè)界領(lǐng)先水平，特別是在指令遵循、世界知識(shí)記憶、視覺(jué)理解和多模態(tài)推理任務(wù)上，表現(xiàn)尤為突出。

文心大模型4.5系列的模型權(quán)重遵循Apache 2.0協(xié)議進(jìn)行開(kāi)源，為學(xué)術(shù)研究和產(chǎn)業(yè)應(yīng)用提供了有力支持。基于飛槳提供的開(kāi)源產(chǎn)業(yè)級(jí)開(kāi)發(fā)套件，這些模型廣泛兼容多種芯片，降低了后訓(xùn)練和部署的門檻，使得更多企業(yè)和開(kāi)發(fā)者能夠輕松上手。

GitCode平臺(tái)作為文心大模型4.5系列的發(fā)布陣地，自上線以來(lái)發(fā)展迅速，已吸引了超過(guò)620萬(wàn)的注冊(cè)用戶，月活用戶達(dá)到120萬(wàn)。這一龐大的用戶基礎(chǔ)和活躍的社區(qū)氛圍，為文心大模型的推廣和應(yīng)用提供了廣闊的空間。開(kāi)發(fā)者們可以在GitCode平臺(tái)上便捷地上傳、管理和分享代碼倉(cāng)庫(kù)，享受無(wú)縫的協(xié)同開(kāi)發(fā)體驗(yàn)。

作為全球開(kāi)源生態(tài)的重要一環(huán)，GitCode平臺(tái)集成了先進(jìn)的代碼托管服務(wù)，支持全面的版本控制、分支管理和協(xié)作開(kāi)發(fā)功能。無(wú)論是個(gè)人項(xiàng)目還是企業(yè)級(jí)應(yīng)用，GitCode都能為用戶提供安全、穩(wěn)定和高效的代碼托管解決方案，助力開(kāi)發(fā)者實(shí)現(xiàn)卓越的代碼管理與協(xié)作。

文心大模型與GitCode平臺(tái)的深度融合，不僅改變了傳統(tǒng)的AI開(kāi)發(fā)模式，還促進(jìn)了中國(guó)開(kāi)源生態(tài)的繁榮和創(chuàng)新。這種融合為AI技術(shù)的廣泛應(yīng)用提供了堅(jiān)實(shí)基礎(chǔ)，推動(dòng)了AI產(chǎn)業(yè)生態(tài)的可持續(xù)發(fā)展。未來(lái)，基于文心大模型的創(chuàng)新應(yīng)用將會(huì)不斷涌現(xiàn)，為各行各業(yè)帶來(lái)更加智能化的解決方案。