近期，科技界圍繞華為諾亞方舟實驗室發布的盤古Pro MoE開源模型展開了一場熱烈討論。這一模型擁有720億參數，采用混合專家（MoE）架構，專為昇騰硬件平臺設計。隨后，業界出現了一項對比分析，指出盤古Pro MoE與阿里巴巴的通義千問Qwen-2.5 14B模型在參數結構上存在高度相似性。
面對這一熱議，7月5日，諾亞方舟實驗室迅速作出回應。實驗室強調，盤古Pro MoE模型是基于昇騰硬件平臺獨立開發和訓練的，并非在其他廠商模型的基礎上進行增量訓練所得。實驗室的這一聲明旨在澄清模型的開發背景和獨立性。
具體而言，GitHub上的一項研究指出，盤古Pro MoE與通義千問Qwen-2.5模型在注意力參數分布上的平均相關性高達0.927，這一數值遠超正常對比范圍。對此，諾亞方舟實驗室解釋稱，盤古Pro MoE模型在代碼實現過程中確實參考了業界的開源實踐，包括其他開源大模型的部分代碼。但實驗室明確表示，所有開源代碼的使用均嚴格遵循了開源許可證的要求，并在文件中清晰標注了版權信息。
業內分析人士指出，盡管盤古Pro MoE與通義千問Qwen-2.5在參數結構上存在高度相似性，但兩者在偏置的絕對數值分布上存在本質差異。這意味著，通過常規的微調或持續預訓練，很難將一個模型的狀態轉變為另一個模型的狀態。分析人士認為，這種相似性可能更多地體現在架構設計層面，而非具體的預訓練權重。
諾亞方舟實驗室進一步強調，盤古Pro MoE模型在架構設計和技術特性上進行了關鍵創新。作為全球首個面向昇騰硬件平臺設計的同規格混合專家模型，盤古Pro MoE創新性地提出了分組混合專家模型（MoGE）架構。這一架構有效解決了大規模分布式訓練中的負載均衡難題，顯著提升了訓練效率。
實驗室在回應中還提到，他們始終堅持開放創新的原則，尊重第三方知識產權，并倡導包容、公平、開放、團結和可持續的開源理念。實驗室感謝全球開發者與合作伙伴對盤古大模型的關注和支持，并表示將高度重視開源社區的建設性意見。
通過盤古大模型的開源，諾亞方舟實驗室希望與志同道合的伙伴共同探索并不斷優化模型能力，加速技術突破與產業落地。這一開放合作的態度，無疑為科技界的未來發展注入了新的活力。
