高性能推理型MoE模型Ring-mini-2.0正式發布,該模型基于Ling-mini-2.0架構深度優化,總參數量達16B,但實際運行時僅需激活1.4B參數,即可實現相當于10B級別以下密集模型的推理能力。這一設計顯著降低了計算資源需求,同時保持了強大的性能表現。
在任務處理方面,Ring-mini-2.0在邏輯推理、編程和數學任務中表現尤為突出。其支持128K長上下文處理能力,能夠適應多種復雜應用場景。生成速度方面,該模型初始版本即可達到300+ token/s,經過優化后更可突破500+ token/s,展現出極高的效率優勢。
訓練優化方面,研發團隊在Ling-mini-2.0-base基礎上進行了深度改進。通過Long-COT SFT、大規模RLVR和RLHF的聯合訓練策略,顯著提升了模型在復雜推理任務中的穩定性和泛化能力。基準測試結果顯示,其性能不僅超越了10B以下密集模型,甚至可與部分更大型的MoE模型相媲美,尤其在邏輯推理領域表現優異。
設計架構上,Ring-mini-2.0采用1/32專家激活比和MTP層架構優化,實現了相當于7-8B密集模型的等效性能。這種高稀疏度設計配合小參數激活策略,使模型在H20環境下即可達到300+ token/s的推理速度。同時,通過Expert Dual Streaming技術優化,進一步降低了推理成本。
為推動學術與產業界發展,研發方決定全面開源Ring-mini-2.0的模型權重、訓練策略及數據配方。這款"小而精"的模型有望成為小型推理領域的標桿產品,相關資源現已通過開源倉庫對外發布,供全球研究者下載使用。