在大語(yǔ)言模型（LLM）領(lǐng)域，一場(chǎng)關(guān)于注意力機(jī)制的技術(shù)路線之爭(zhēng)正悄然展開。隨著國(guó)產(chǎn)模型在工程實(shí)踐中的持續(xù)推進(jìn)，線性注意力機(jī)制這一曾被邊緣化的技術(shù)，正重新回到行業(yè)視野。其核心驅(qū)動(dòng)力，既源于國(guó)內(nèi)算力資源的有限性，也與智能體（Agent）技術(shù)落地的長(zhǎng)遠(yuǎn)目標(biāo)密切相關(guān)。面對(duì)國(guó)外主流模型閉源、技術(shù)細(xì)節(jié)難以窺探的現(xiàn)狀，國(guó)內(nèi)團(tuán)隊(duì)正通過(guò)創(chuàng)新探索，試圖打破傳統(tǒng)注意力機(jī)制的瓶頸。

線性注意力的研究并非新事。早在2020年前后，學(xué)術(shù)界便涌現(xiàn)出大量相關(guān)論文，試圖將注意力機(jī)制的時(shí)間與內(nèi)存復(fù)雜度從O(n2)降至O(n)，以提升長(zhǎng)序列處理效率。然而，早期嘗試普遍面臨精度損失的問(wèn)題，導(dǎo)致其始終未能被應(yīng)用于任何開源的、達(dá)到業(yè)界頂尖水平的大語(yǔ)言模型中。這一技術(shù)路線因此長(zhǎng)期被視為“效率優(yōu)先、精度妥協(xié)”的權(quán)宜之計(jì)。

轉(zhuǎn)折點(diǎn)出現(xiàn)在今年下半年。國(guó)產(chǎn)模型團(tuán)隊(duì)率先掀起線性注意力的復(fù)興浪潮。6月，MiniMax團(tuán)隊(duì)推出擁有4560億總參數(shù)、460億激活參數(shù)的MoE模型M1，首次采用“閃電注意力”（lightning attention）機(jī)制；8月，Qwen3團(tuán)隊(duì)發(fā)布的Qwen3-Next模型，同樣引入線性注意力變體；9月，DeepSeek團(tuán)隊(duì)發(fā)布的V3.2模型，則通過(guò)稀疏注意力（sparse attention）實(shí)現(xiàn)了亞二次方復(fù)雜度。這些模型共同的特點(diǎn)是，在大部分或全部網(wǎng)絡(luò)層中，用線性或亞二次方注意力替代了傳統(tǒng)的二次方注意力，為長(zhǎng)文本處理和資源優(yōu)化提供了新思路。

然而，技術(shù)路線的探索并非一帆風(fēng)順。MiniMax團(tuán)隊(duì)在發(fā)布M1模型后不久，便悄然轉(zhuǎn)向。其新推出的2300億參數(shù)模型M2，出人意料地放棄了線性注意力，重新采用常規(guī)注意力機(jī)制。團(tuán)隊(duì)解釋稱，線性注意力在生產(chǎn)環(huán)境中表現(xiàn)“棘手”：盡管在常規(guī)提示任務(wù)中表現(xiàn)尚可，但在推理和多輪對(duì)話等關(guān)鍵場(chǎng)景中，精度問(wèn)題顯著——而這兩項(xiàng)能力正是聊天會(huì)話和智能體應(yīng)用的核心需求。這一決策一度引發(fā)行業(yè)對(duì)線性注意力實(shí)用性的質(zhì)疑。

就在爭(zhēng)議聲中，Kimi團(tuán)隊(duì)上周發(fā)布的Kimi Linear模型，為線性注意力注入了新活力。官方數(shù)據(jù)顯示，該模型通過(guò)混合注意力策略，實(shí)現(xiàn)了75%的KV緩存縮減和最高6倍的解碼吞吐量提升。其架構(gòu)設(shè)計(jì)融合了輕量級(jí)線性注意力與重量級(jí)全注意力：每三個(gè)采用Kimi Delta Attention（KDA）機(jī)制的Transformer塊，搭配一個(gè)使用多頭潛在注意力（MLA）的塊，比例固定為3:1。這一設(shè)計(jì)既保留了線性注意力的高效性，又通過(guò)全注意力層彌補(bǔ)了精度短板。

Kimi Linear的創(chuàng)新不僅體現(xiàn)在混合策略上。其線性部分采用的KDA機(jī)制，是對(duì)Gated DeltaNet的進(jìn)一步優(yōu)化；全注意力部分則用MLA替代了標(biāo)準(zhǔn)模塊，通過(guò)潛在空間映射降低計(jì)算開銷。盡管論文未直接對(duì)比Qwen3-Next，但與Gated DeltaNet-H1模型（滑動(dòng)窗口注意力與Gated DeltaNet的結(jié)合）相比，Kimi Linear在保持相同生成速度的同時(shí)，實(shí)現(xiàn)了更高的建模精度。目前，MLA模塊尚未整合輸出門（sigmoid bypass），但團(tuán)隊(duì)計(jì)劃在未來(lái)版本中加入這一特性，以進(jìn)一步提升模型表現(xiàn)。

這場(chǎng)技術(shù)路線之爭(zhēng)，折射出大語(yǔ)言模型發(fā)展中的深層矛盾：在算力資源有限與模型能力無(wú)限追求之間，如何找到平衡點(diǎn)？國(guó)產(chǎn)團(tuán)隊(duì)的探索表明，線性注意力并非“非此即彼”的選擇，而是可以通過(guò)混合策略、機(jī)制優(yōu)化等方式，在效率與精度間開辟新路徑。隨著Kimi Linear等模型的涌現(xiàn)，行業(yè)對(duì)線性注意力的認(rèn)知正從“替代方案”轉(zhuǎn)向“補(bǔ)充工具”，其未來(lái)應(yīng)用場(chǎng)景或遠(yuǎn)超預(yù)期。