360集團近期宣布了一項重大進展，其自主研發的7B參數模型360Zhinao3-7B已完成了全面升級，并在Github開源社區上公開發布，且允許免費商業使用。這款模型不僅在科學計算與數學領域有著卓越表現，更在通用性能上展現出了非凡的潛力，特別是在端側應用場景中尤為突出。
360Zhinao3-7B模型的升級策略尤為高效，僅通過增量訓練700B的高質量token便實現了顯著的性能提升。與前代產品360Zhinao2-7B相比，這一升級大大減少了成本，訓練token量從10.1T降至700B，同時保持了推理成本不變，實現了成本效益的最大化。
在數據篩選流程中，360智腦團隊實施了更為嚴格的篩選標準，利用多種離線數據篩選模型對數據進行細致分類和評分，顯著提升了訓練數據的質量。團隊還優化了數據配比，增加了數學、代碼和指令相關數據的比例，同時降低了網頁和書籍數據的占比，從而強化了模型的指令理解和推理能力。
360Zhinao3-7B模型在預訓練階段也進行了重要改進，新增了長文本預訓練環節，將最大窗口長度從4k擴展至32k，并對ROPE的base值進行了調整，從1w提升至100w。通過增加超長文本和長代碼的比例，模型的長文本處理能力得到了進一步優化。
在評估模型效果時，360智腦團隊采用了開源工具opencompass進行多維度測試。測試結果顯示，360Zhinao3-7B模型在同類10B尺寸模型中具有強勁競爭力。在微調階段，團隊運用了蒸餾、強化學習等多種策略，進一步提升了模型的性能。特別是在長思維鏈訓練中，360Zhinao3-7B模型經過四階段訓練，在數學和科學數據上的表現與從零開始訓練的7B推理模型相當，同時在通用多輪對話、角色扮演以及復雜指令遵循等場景中也展現出了卓越的能力。
360智腦團隊表示，360Zhinao3-7B模型的開源旨在推動AI技術的普及和發展，為開發者提供更為強大的工具支持。該模型不僅在科學計算與數學領域具有廣泛應用前景，更在端側應用中展現出巨大的潛力，為AI技術的實際應用提供了更多可能性。
開發者可以在Github平臺上訪問360Zhinao3-7B模型的開源代碼，地址為：https://github.com/Qihoo360/360zhinao3。
