強化學(xué)習(xí)微調(diào)作為提升大型語言模型高級能力的關(guān)鍵技術(shù)，在實際應(yīng)用中卻面臨訓(xùn)練不穩(wěn)定、性能提升困難等問題。傳統(tǒng)觀點認為這些問題的根源在于復(fù)雜的算法設(shè)計缺陷，然而，最新研究指出，數(shù)值精度才是導(dǎo)致這些問題的關(guān)鍵因素。

當(dāng)前，BF16格式因其在預(yù)訓(xùn)練階段的穩(wěn)定表現(xiàn)，已成為業(yè)界廣泛采用的標準配置。然而，在強化學(xué)習(xí)微調(diào)的精細調(diào)整過程中，BF16的低精度特性反而成為阻礙。研究發(fā)現(xiàn)，BF16在訓(xùn)練和推理過程中引發(fā)的“訓(xùn)練-推理不匹配”現(xiàn)象，是導(dǎo)致訓(xùn)練任務(wù)失敗和崩潰的主要原因。這一現(xiàn)象表現(xiàn)為訓(xùn)練引擎和推理引擎在計算結(jié)果上的微小數(shù)值偏差，這些偏差在長序列生成任務(wù)中不斷累積，最終導(dǎo)致模型性能顯著下降。為解決這一問題，研究團隊將目光投向了另一種16位浮點格式——FP16。與BF16不同，F(xiàn)P16在尾數(shù)部分分配了更多位數(shù)，使其能夠更精確地表示數(shù)值，從而減少舍入誤差。盡管FP16的動態(tài)范圍較小，但在強化學(xué)習(xí)微調(diào)階段，模型的權(quán)重和激活值范圍已相對穩(wěn)定，不再需要BF16那樣大的動態(tài)范圍。因此，F(xiàn)P16的高精度特性成為解決訓(xùn)練不穩(wěn)定問題的關(guān)鍵。

研究團隊通過一系列實驗驗證了FP16的有效性。他們構(gòu)建了一個“完美可解”的數(shù)據(jù)集，以排除數(shù)據(jù)集難度分布對實驗結(jié)果的干擾。在這個數(shù)據(jù)集上，基于FP16的算法展現(xiàn)出了極高的訓(xùn)練穩(wěn)定性，不僅從未崩潰，而且收斂速度飛快，最終性能全面超越了基于BF16的算法。實驗還發(fā)現(xiàn)，所有最終崩潰的BF16算法在崩潰前都表現(xiàn)出訓(xùn)練策略和推理策略之間差異持續(xù)增大的特征，這表明差異程度可作為訓(xùn)練健康狀況的監(jiān)測指標。

進一步的研究探討了不同精度組合對訓(xùn)練效果的影響。結(jié)果顯示，將訓(xùn)練和推理精度統(tǒng)一為FP16的組合，不僅實現(xiàn)了最低的訓(xùn)練-推理不匹配，還獲得了最穩(wěn)定的訓(xùn)練動態(tài)和最高的性能，同時保持了極高的計算效率。相比之下，其他精度組合要么訓(xùn)練不穩(wěn)定，要么計算效率低下。

為證明FP16解決方案的普適性，研究團隊在多種模型和訓(xùn)練范式上進行了驗證。在混合專家模型中，F(xiàn)P16精度下的訓(xùn)練比BF16更加穩(wěn)定，能夠持續(xù)獲得更高的訓(xùn)練獎勵和驗證集性能。在低秩適應(yīng)微調(diào)中，基于FP16的訓(xùn)練從頭到尾保持完全穩(wěn)定，而基于BF16的訓(xùn)練則在約600步后崩潰。在大型稠密模型上，F(xiàn)P16訓(xùn)練的模型獎勵增長速度遠快于BF16，并在驗證集上取得了更高的準確率。在不同模型架構(gòu)上的實驗也得出一致結(jié)論：FP16能夠有效提升強化學(xué)習(xí)微調(diào)的穩(wěn)定性。

這些發(fā)現(xiàn)促使業(yè)界重新思考在大型語言模型訓(xùn)練流程中關(guān)于數(shù)值精度的選擇。研究結(jié)果表明，將浮點數(shù)精度從BF16切換到FP16，是一種能夠系統(tǒng)性提升強化學(xué)習(xí)微調(diào)穩(wěn)定性和性能的根本性解決方案。這一發(fā)現(xiàn)不僅解決了當(dāng)前強化學(xué)習(xí)微調(diào)領(lǐng)域的一個核心痛點，也為未來模型訓(xùn)練提供了新的思路。