月之暗面公司近日宣布推出革命性的新型注意力架構(gòu)——Kimi Linear，這一突破性技術(shù)有望重塑下一代智能體大語言模型（Agent LLM）的基礎(chǔ)架構(gòu)。團隊同步發(fā)布技術(shù)報告《KIMI LINEAR：一種高表達力且高效的注意力結(jié)構(gòu)》，并開源核心代碼與預(yù)訓(xùn)練模型，相關(guān)驗證已在內(nèi)部完成嚴(yán)格測試。

傳統(tǒng)Transformer模型在處理長序列任務(wù)時面臨兩大核心挑戰(zhàn)：其一，softmax注意力機制的計算復(fù)雜度與序列長度的平方成正比，當(dāng)文本長度從千級擴展至百萬級時，計算量將呈百萬倍增長；其二，自回歸生成過程中需緩存全部歷史token的鍵值對（KV緩存），顯存消耗隨序列長度線性攀升，嚴(yán)重制約實時交互能力。盡管線性注意力通過數(shù)學(xué)變換將復(fù)雜度降至線性，但表達能力長期弱于標(biāo)準(zhǔn)注意力機制，尤其在短序列場景下性能差距顯著。

Kimi Linear采用創(chuàng)新的3:1混合層級結(jié)構(gòu)，每三層Kimi Delta Attention（KDA）線性注意力層后接入一層多頭潛在注意力（MLA）全局層。這種設(shè)計使模型在保持長序列處理效率的同時，通過周期性全局層捕捉遠(yuǎn)程依賴關(guān)系。實驗數(shù)據(jù)顯示，該架構(gòu)在百萬token上下文場景下，KV緩存占用較純MLA模型降低75%，解碼吞吐量提升達6倍，且在數(shù)學(xué)推理、代碼生成等復(fù)雜任務(wù)中表現(xiàn)全面超越傳統(tǒng)架構(gòu)。

架構(gòu)設(shè)計的核心突破在于KDA模塊的兩大創(chuàng)新：首先，引入對角化門控矩陣實現(xiàn)通道級遺忘控制，使每個特征維度可獨立調(diào)整信息保留速率，這種精細(xì)化調(diào)控機制賦予模型類似旋轉(zhuǎn)位置編碼（RoPE）的動態(tài)位置感知能力；其次，開發(fā)硬件高效的塊處理算法，通過約束對角加低秩（DPLR）結(jié)構(gòu)將計算量減少50%，并充分利用GPU張量核心實現(xiàn)并行優(yōu)化。測試表明，KDA算子效率較標(biāo)準(zhǔn)DPLR提升近一倍，在長序列合成任務(wù)中準(zhǔn)確率顯著高于基礎(chǔ)Gated DeltaNet。

技術(shù)報告特別強調(diào)全局注意力層的"無位置編碼"（NoPE）設(shè)計，所有位置信息處理責(zé)任由KDA層承擔(dān)。這種分工使MLA層可專注于內(nèi)容關(guān)聯(lián)，避免傳統(tǒng)位置編碼對訓(xùn)練長度的過擬合問題。在128k上下文基準(zhǔn)測試中，Kimi Linear平均得分較MLA基線提升4.4%，在代碼理解任務(wù)RepoQA中優(yōu)勢更為明顯。強化學(xué)習(xí)場景下的數(shù)學(xué)推理測試顯示，其訓(xùn)練準(zhǔn)確率增速較純MLA模型快37%，測試集性能提升幅度達15%。

效率對比數(shù)據(jù)顯示顯著優(yōu)勢：百萬token解碼場景下，單token生成時間從MLA的11.48ms壓縮至1.84ms，支持批處理規(guī)模提升4倍；預(yù)填充階段速度提升2.9倍，顯存占用控制在純MLA模型的25%水平。在1.4萬億token預(yù)訓(xùn)練后，模型在MMLU-Pro、Ceval等20余項基準(zhǔn)測試中全面領(lǐng)先，數(shù)學(xué)推理任務(wù)AIME 2025得分較基線提升12%。

目前，開發(fā)團隊已開源KDA模塊的CUDA核心實現(xiàn)、vLLM集成方案及480億參數(shù)模型的訓(xùn)練檢查點。技術(shù)文檔指出，該架構(gòu)通過混合設(shè)計釋放了循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的潛在能力，其通道級衰減門控機制可視為數(shù)據(jù)驅(qū)動的動態(tài)位置編碼，為解決長文本外推問題提供新思路。實驗證明，精心設(shè)計的線性注意力與全局注意力混合模式，首次在性能與效率維度同時超越純?nèi)⒁饬軜?gòu)。