訊(作者/于雷)7月7日,針對近期開源社區(qū)及網(wǎng)絡(luò)平臺上關(guān)于華為盤古大模型開源代碼的廣泛討論與質(zhì)疑,盤古Pro MoE技術(shù)開發(fā)團隊正式發(fā)布官方聲明,對此事做出回應(yīng)。
聲明首先明確指出,盤古Pro MoE開源模型是基于華為自家的昇騰(Ascend)硬件平臺開發(fā)、訓(xùn)練的基礎(chǔ)大模型,并非基于其他廠商模型進行增量訓(xùn)練的產(chǎn)物。華為方面強調(diào),該模型在架構(gòu)設(shè)計和技術(shù)特性上均有關(guān)鍵創(chuàng)新。
在技術(shù)層面,華為特別介紹了其創(chuàng)新性提出的分組混合專家模型(MoGE)架構(gòu)。據(jù)稱,這是全球首個面向昇騰硬件平臺設(shè)計的同規(guī)格混合專家模型。該架構(gòu)的核心優(yōu)勢在于有效解決了大規(guī)模分布式訓(xùn)練過程中的負載均衡難題,從而顯著提升了整體的訓(xùn)練效率。對于更多技術(shù)細節(jié),官方建議參考已披露的昇騰生態(tài)競爭力系列技術(shù)報告。
對于備受關(guān)注的代碼相似性問題,聲明中也并未回避。華為方面承認,盤古Pro MoE開源模型的部分基礎(chǔ)組件代碼實現(xiàn),確實參考了業(yè)界的開源實踐,并涉及其他開源大模型的部分開源代碼。但團隊同時強調(diào),這一做法嚴格遵循了開源許可證的要求,并在相關(guān)的開源代碼文件中清晰標注了版權(quán)聲明,認為這是開源社區(qū)的通行做法,也符合開源協(xié)作的精神。
最后,該聲明重申了華為在開源領(lǐng)域的立場,表示堅持開放創(chuàng)新并尊重第三方知識產(chǎn)權(quán)。團隊歡迎并期待開發(fā)者與合作伙伴在官方開源社區(qū)Ascend Tribe,就技術(shù)細節(jié)進行更深入、專業(yè)的交流與探討,共同推動模型能力的優(yōu)化與技術(shù)落地。