在近日的一次技術分享會上，北京航空航天大學的博士生孫耀威深入探討了如何利用創新的技術框架，在亞馬遜云平臺上對大模型進行高效微調與強化學習訓練。他介紹的兩個核心框架——LlamaFAIR與EZI-ONE，引起了業界的廣泛關注。
孫耀威首先回顧了大模型微調與強化學習的基本概念。他解釋，微調通常涉及將大型預訓練模型（如GPT-3）針對特定任務數據進行調整，以提升其在該領域的推理能力。然而，全量微調的成本高昂，尤其是對于參數規模龐大的模型而言。因此，高效微調技術應運而生，旨在降低顯存占用并加速訓練過程。
為了解析高效微調的奧秘，孫耀威詳細剖析了顯存占用的主要組成部分：模型權重、優化器狀態和梯度值、以及激活狀態。他提到，通過量化技術，如GPDQ，可以將32位浮點數權重轉換為低精度格式，從而大幅減少顯存需求。利用LoRA的低秩分解技術，可以顯著壓縮優化器狀態和梯度的顯存占用。而在激活狀態方面，FlashAttention和activation recomputation等技術通過算子融合和檢查點重計算，有效降低了顯存消耗。
孫耀威強調，這些技術的綜合運用使得在消費級顯卡上微調大模型成為可能。他分享了一個實例：通過結合量化、低秩分解、算子優化等技術，成功將8B參數模型的顯存占用從120GB降低到單卡1.9GB。
隨后，孫耀威將話題轉向了強化學習，特別是其在ChatGPT等大模型中的應用。他解釋了RLHF（人類反饋強化學習）的基本原理，即通過生成多條推理軌跡并使用獎勵模型進行打分，來優化策略模型的參數。與PPO等傳統強化學習算法相比，RLHF無需額外的Critic模型來估計值函數，而是直接使用獎勵分數的規范化值作為優勢函數信號。
在介紹LlamaFAIR框架時，孫耀威指出，該框架不僅支持文本推理模型，還兼容視覺語言模型和多模態模型，能夠處理圖像、視頻、音頻等多種模態數據。LlamaFAIR集成了多種高效微調技術，提供了一個無代碼界面，使得用戶只需簡單選擇模型、數據集和參數，即可完成模型微調并進行交互測試。
緊接著，孫耀威介紹了EZI-ONE框架，這是一個專為加速GRPO（一種新的強化學習算法）訓練而設計的高效框架。EZI-ONE基于字節跳動的Flare引擎構建，支持從7B到72B不同規模模型的訓練。該框架采用單控制器多工作器的設計，將強化學習過程抽象為高級原語，使得算法開發和改進更加簡潔高效。
孫耀威提到，EZI-ONE框架的使用同樣便捷，用戶只需編寫一個定制獎勵函數的腳本，并將其路徑傳入框架，即可完成RLHF訓練過程。這種設計大幅降低了強化學習訓練的門檻和難度。
