近期，專注于人工智能研究的技術(shù)團隊Thinking Machines Lab（TML）發(fā)布了一篇技術(shù)博客，詳細(xì)闡述了其研發(fā)的“在策略蒸餾”訓(xùn)練方法。該方法通過融合強化學(xué)習(xí)的糾錯機制與監(jiān)督微調(diào)的密集反饋，顯著提升了小型語言模型在數(shù)學(xué)推理和個性化助手場景中的表現(xiàn)。

據(jù)團隊CEO米拉·穆拉蒂介紹，這種技術(shù)突破使得僅具備基礎(chǔ)能力的輕量級模型，能夠通過低成本訓(xùn)練獲得特定領(lǐng)域的專業(yè)能力。實驗數(shù)據(jù)顯示，該方法在數(shù)學(xué)推理基準(zhǔn)測試AIME'24上的表現(xiàn)，超越了傳統(tǒng)強化學(xué)習(xí)所需的計算資源量級，同時避免了離策略訓(xùn)練中常見的“復(fù)合錯誤”問題。

研究團隊將訓(xùn)練過程劃分為三個階段：首先通過通用語料庫完成模型預(yù)訓(xùn)練，使其掌握基礎(chǔ)語言能力；繼而通過領(lǐng)域文檔進行中訓(xùn)練，注入專業(yè)知識；最終采用在策略蒸餾進行后訓(xùn)練，確保模型在特定任務(wù)中達到專家級表現(xiàn)。相較于傳統(tǒng)方法，該方案通過逐token的密集反饋機制，使模型能夠精準(zhǔn)修正推理路徑中的每個步驟。

在數(shù)學(xué)推理實驗中，團隊以Qwen3-8B模型為基礎(chǔ)，通過150個訓(xùn)練步驟即達成70%的基準(zhǔn)測試準(zhǔn)確率。相較之下，傳統(tǒng)強化學(xué)習(xí)方法需要17,920個GPU小時才能達到相近水平。這種效率提升得益于蒸餾過程中使用的反向KL散度損失函數(shù)，該函數(shù)能夠精確量化學(xué)生模型與教師模型在每個生成token上的分布差異。

技術(shù)實現(xiàn)層面，研究團隊構(gòu)建了包含教師模型評估的迭代訓(xùn)練框架。在每輪訓(xùn)練中，學(xué)生模型生成推理軌跡后，由高性能教師模型對每個token進行質(zhì)量評分。通過計算反向KL散度，系統(tǒng)能夠精準(zhǔn)定位錯誤根源，而非僅反饋最終結(jié)果的正誤。這種機制使得模型在處理復(fù)雜問題時，能夠有效區(qū)分運算順序錯誤與基礎(chǔ)算術(shù)失誤。

個性化助手開發(fā)實驗進一步驗證了該技術(shù)的適應(yīng)性。當(dāng)在內(nèi)部文檔數(shù)據(jù)上進行中訓(xùn)練后，模型的專業(yè)知識得分顯著提升，但指令遵循能力出現(xiàn)下降。通過引入在策略蒸餾階段，以早期版本模型作為教師進行行為矯正，研究團隊成功恢復(fù)了模型的指令響應(yīng)能力，同時保持了專業(yè)知識水平。這種持續(xù)學(xué)習(xí)能力為模型部署后的動態(tài)更新提供了可行方案。

技術(shù)對比顯示，在策略蒸餾在數(shù)據(jù)利用效率方面具有顯著優(yōu)勢。實驗表明，單個訓(xùn)練提示通過多次采樣生成的軌跡，能夠提供比傳統(tǒng)強化學(xué)習(xí)更豐富的監(jiān)督信號。這種特性使得開發(fā)者在數(shù)據(jù)采集受限的場景下，依然能夠完成有效模型訓(xùn)練。

研究團隊特別指出，該成果的實現(xiàn)得益于對Qwen3系列模型的深度研究。在技術(shù)實現(xiàn)過程中，Qwen3團隊的相關(guān)研究提供了關(guān)鍵啟發(fā)，其公開的模型架構(gòu)與訓(xùn)練數(shù)據(jù)為實驗驗證創(chuàng)造了條件。據(jù)統(tǒng)計，博客原文中“Qwen”關(guān)鍵詞出現(xiàn)頻次達38次，凸顯了開源模型對技術(shù)創(chuàng)新的重要推動作用。

目前，Thinking Machines Lab已通過Tinker訓(xùn)練平臺完整開源了技術(shù)實現(xiàn)方案。該方案包含從數(shù)據(jù)準(zhǔn)備到模型部署的全流程指導(dǎo)，支持開發(fā)者復(fù)現(xiàn)數(shù)學(xué)推理與個性化助手等典型應(yīng)用場景。研究團隊強調(diào)，這種訓(xùn)練范式不僅適用于學(xué)術(shù)研究，更為企業(yè)級AI應(yīng)用開發(fā)提供了低成本、高效率的解決方案。