AI語言模型領域迎來重要進展，開源社區(qū)迎來迄今最大規(guī)模的擴散語言模型——RND1-Base。這款由Radical Numerics團隊研發(fā)的300億參數(shù)模型，采用創(chuàng)新的稀疏專家混合架構，其中僅30億參數(shù)處于活躍狀態(tài)，既保證了模型性能又優(yōu)化了計算效率。該模型完整開源了訓練框架、推理代碼及模型權重，為學術界和產業(yè)界提供了重要的研究基礎。

與傳統(tǒng)自回歸模型逐字生成文本的方式不同，RND1-Base將語言生成過程類比為圖像去噪，通過雙向注意力機制實現(xiàn)整個文本序列的并行生成。這種技術路徑突破了傳統(tǒng)模型的順序生成限制，在代碼生成、數(shù)學推理等需要復雜邏輯的任務中表現(xiàn)出顯著優(yōu)勢。測試數(shù)據顯示，該模型在MMLU語言理解測試中取得57.2%的準確率，GSM8K數(shù)學推理達到72.1%，MBPP代碼生成任務中達到51.3%，各項指標均領先同類開源模型。

研發(fā)團隊通過創(chuàng)新的技術路線實現(xiàn)了模型的高效構建。基于Qwen3-30BA3B自回歸模型，研究人員采用雙向掩碼機制和分層學習率調整，在保留原有知識的基礎上完成向擴散架構的轉型。訓練過程中使用800萬標記的大批量數(shù)據，經過5000億標記的預訓練，成功避免了從零開始訓練的資源消耗。這種模型重用策略為大規(guī)模AI系統(tǒng)的開發(fā)提供了新的思路。

模型的稀疏激活設計是其核心創(chuàng)新之一。300億總參數(shù)中僅10%處于活躍狀態(tài)，這種架構既保持了模型的表達能力，又大幅降低了推理階段的計算需求。雖然當前版本在貪婪采樣時偶爾會出現(xiàn)重復生成現(xiàn)象，但研究團隊已通過集成FlashInfer和SGLang推理后端，為后續(xù)優(yōu)化提供了技術儲備。

作為下一代AI實驗室的代表作，RND1-Base承載著更宏大的愿景。研發(fā)團隊由來自DeepMind、meta等頂尖機構的專家組成，他們致力于構建能夠自我改進的AI系統(tǒng)。通過自動化研究平臺，模型可以參與優(yōu)化下一代AI架構，這種遞歸式的改進機制有望推動科學發(fā)現(xiàn)和工業(yè)應用的加速發(fā)展。

開源決策背后蘊含著深刻的戰(zhàn)略考量。研究團隊希望通過釋放基礎模型，激發(fā)全球研究者探索擴散架構在推理優(yōu)化、后訓練等方面的潛力。當前，擴散模型在長文本并行生成領域已展現(xiàn)出獨特優(yōu)勢，此次開源或將推動更多自回歸模型向擴散架構轉型，填補高效生成模型的技術空白。

盡管在泛化能力和內存占用方面仍有改進空間，但RND1-Base的發(fā)布標志著擴散語言模型從理論探索向工程實踐的關鍵跨越。其創(chuàng)新的技術路徑和完整的開源體系，不僅為研究社區(qū)提供了重要工具，更為AI系統(tǒng)的自我進化開辟了新的可能性。隨著更多研究者加入這一領域，擴散架構有望重塑下一代AI的技術格局。