近期，Kimi團隊震撼發布了其最新力作——Kimi K2的技術細節，向外界展示了這款超級模型的訓練奧秘。據悉，Kimi K2的參數規模驚人，總量達到了1萬億，其中激活參數亦有320億之巨。憑借如此強大的實力，Kimi K2一經問世，便在全球開源模型競技場上大放異彩，僅一周時間便力壓群雄，超越了DeepSeek，其表現甚至可與Grok4和GPT4.5等頂級閉源模型相媲美。
Kimi K2之所以能夠取得如此輝煌的成績，背后離不開其獨到的訓練策略和先進的技術架構。團隊大膽地采用了MuonClip優化器，這一創新之舉替代了傳統的Adam優化器，不僅提升了訓練效率，還確保了模型的穩定性。得益于此，Kimi K2在預訓練階段能夠無損耗地處理高達15.5萬億的token數據，為模型的強大能力打下了堅實的基礎。
Kimi團隊還精心打造了一個大規模的Agentic Tool Use數據合成流程，這一流程涵蓋了多個領域和工具，為Kimi K2提供了豐富多樣的訓練場景。這不僅增強了模型的泛化能力，還使其在面對復雜任務時能夠游刃有余。
在訓練過程中，Kimi團隊還巧妙地運用了“重述法”來提高數據利用效率。這種方法并非簡單的內容重復，而是通過不同的方式重新闡述知識內容，確保模型能夠深入理解信息。特別是在處理數學和知識類文本時，Kimi K2通過將這些復雜內容轉化為易于理解的學習筆記風格，進一步提升了訓練效果。數據顯示，使用重述后的數據進行一輪訓練，其準確率甚至超過了使用原始數據進行十輪訓練的結果。
在訓練的后階段，Kimi K2還接受了監督微調和強化學習的洗禮。團隊構建了可驗證的獎勵環境和自我評估機制，確保模型能夠在多樣化的任務中不斷優化其表現。同時，為了進一步提升生成文本的質量和穩定性，訓練過程中還引入了預算控制和溫度衰減策略。
為了滿足如此龐大的訓練需求，Kimi團隊依托由NVIDIA H800組成的大規模高帶寬GPU集群，確保了訓練的高效進行和數據傳輸的順暢無阻。這一強大的硬件支持為Kimi K2的成功問世提供了有力的保障。
