強化學習（RL）已成為大語言模型（LLM）后訓練階段的核心技術，從ChatGPT到DeepSeek的迭代中，其重要性愈發凸顯。然而，隨著模型參數規模的持續擴張，一個長期被忽視的問題逐漸浮出水面——重要性采樣（Importance Sampling, IS）是否真的不可或缺？

近期，快手與清華大學聯合研究團隊發現，現有結果監督強化學習范式中存在深層次的權重錯配現象。這種錯配不僅導致模型產生“過度自信”傾向，還可能引發熵坍縮（模型輸出多樣性驟降）與訓練早熟收斂（模型過早停止學習）。針對這一難題，研究團隊提出了一種名為ASPO（Asymmetric Importance Sampling Policy Optimization）的算法，通過重構重要性采樣機制，顯著提升了模型性能與訓練穩定性。

在傳統強化學習中，重要性采樣通過修正新舊策略間的分布差異，使模型能夠“復用舊數據”而不偏離目標分布。這一機制在小規模場景中表現良好，但在大語言模型的結果監督強化學習中卻逐漸失效。研究團隊通過對比實驗發現：在GRPO類算法中，保留重要性采樣權重與完全移除該權重（統一設置為1.0）的模型，最終準確率幾乎無差異；但移除重要性采樣后，模型訓練曲線更平滑，熵值下降速度放緩，重復輸出率降低，且KL散度（衡量策略分布差異的指標）更穩定。

進一步分析揭示了重要性采樣失效的根源。首先，結果監督強化學習中的優勢值（Advantage Value）本身存在不準確性：不同token對最終答案的貢獻差異顯著，但傳統方法卻賦予它們相同的優勢值；其次，正確回答中可能包含錯誤推理步驟，這些步驟的優勢值甚至相互矛盾。更關鍵的是，正優勢token的平均重要性采樣權重顯著高于負優勢token，導致模型過度關注高概率正樣本，加速了熵值的下降。

研究團隊指出，重要性采樣權重在LLM場景下出現了非對稱性錯誤。對于負優勢token，權重變化符合預期——舊策略概率固定時，當前概率越高，權重越高，從而抑制錯誤輸出；但對于正優勢token，權重分布卻完全相反：當前概率越高的token權重越高，概率越低的token權重越低。這種偏差會形成自我強化循環，使模型不斷強化已“高分”的token，而忽視需要改進的低概率token，最終導致模型陷入局部最優解，輸出重復內容，甚至發生熵崩塌。

ASPO的核心創新在于“不對稱翻轉”正樣本權重。具體而言，它將正優勢token的重要性采樣權重取倒數，使低概率token獲得更強的更新信號，而高概率token的更新力度被適當削弱。為避免極端值導致的不穩定，ASPO引入了Dual-Clipping（軟雙重裁剪）機制，在保留正樣本梯度有效流動的同時，限制極端比率的影響。ASPO仍保留原有的硬裁剪機制，對重要性采樣比例異常的正負樣本進行梯度裁剪。

梯度分析顯示，ASPO通過翻轉重要性采樣權重項，使梯度與token概率的倒數成正比。這意味著概率越低的token，獲得的更新梯度越大，從而增強了低概率token的學習力度。實驗結果表明，ASPO在數學推理（AIME24/25、AMC23、MATH-500、Minerva、Olympiad）和代碼生成（LiveCodeBench v5/v6）等基準測試中表現優異：數學任務平均性能提升12.5%，代碼生成任務平均性能提升17.0%；訓練過程更平滑，無明顯熵坍塌現象；在LiveCodeBench v5上，ASPO以31.5 avg@8 / 47.0 pass@8的成績領先主流RL方法（如DAPO、DeepScaleR、Nemotron等）。

訓練動力學分析進一步驗證了ASPO的優勢。其訓練曲線顯示，熵值下降更平緩，有效避免了傳統算法中的“熵坍縮”問題，為模型提供了更穩定的探索空間。