昆侖萬維近期宣布了一項重大技術突破,正式向公眾開源了其Matrix-Game大模型,這一舉措標志著交互式世界生成技術邁入了一個全新的發展階段。Matrix-Game不僅是Matrix系列在交互式世界生成領域的首次實踐落地,更是工業界首個對外開放的、參數規模超過10B的空間智能大模型。
空間智能技術作為AI領域的前沿探索,正悄然改變著我們與虛擬世界的互動方式。通過整合視頻生成、三維建模與交互控制等前沿技術,空間智能不僅為用戶帶來了更為自然、直觀且沉浸式的體驗,還在具身智能、影視創作及游戲開發等多個領域展現出了巨大的應用潛力。
昆侖萬維作為空間智能技術的長期關注者與推動者,此次開源的Matrix-Game大模型無疑是一次技術實力的集中展現。Matrix-Game不僅刷新了交互式世界生成的技術上限,更為構建一個通用的虛擬世界基座提供了全新的參考標準。該模型以游戲世界建模為核心,專為開放式環境中的高質量生成與精確控制而設計。
Matrix-Game大模型的核心競爭力在于其深度融合了視頻生成與用戶交互。用戶只需通過簡單直觀的指令,就能自由探索、操控甚至創造出細節豐富、物理規則合理的虛擬世界。這一特性得益于其精心設計的三大核心組成部分:Matrix-Game-MC數據集、Matrix-Game主模型以及GameWorld Score評測體系。
Matrix-Game-MC數據集是昆侖萬維自主構建的大規模交互世界數據集,它包含了大量無標簽的Minecraft游戲視頻以及帶有鍵盤與鼠標控制信號的Minecraft與Unreal可控視頻數據。這些數據為模型提供了豐富的訓練素材,支持其對復雜環境動態與交互模式的高效建模與學習。
Matrix-Game主模型則是基于先進的擴散模型技術開發而成,它能夠根據用戶輸入(如鍵盤指令、鼠標移動等)生成連貫、可控的互動視頻。該模型在視覺質量、時序一致性與物理合理性方面均表現出色,為用戶帶來了極致的交互體驗。
為了系統性地評估和比較交互式世界生成模型的性能,昆侖萬維還提出了GameWorld Score評測體系。該體系從視覺質量、時序質量、交互可控性與物理規則理解四個維度對模型進行全面量化評估,填補了該領域缺乏系統性評測基準的空白。
在GameWorld Score評測體系中,Matrix-Game大模型展現出了卓越的性能。無論是在視覺質量、時間一致性還是動作可控性與物理規則理解方面,Matrix-Game均取得了領先成績,全面超越了現有的開源基線模型。
Matrix-Game大模型還具備強大的泛化能力。它能夠在不同Minecraft場景下實現可控生成,包括基礎運動、復合運動、視角運動等。得益于Unreal數據的融入,Matrix-Game在泛化到更廣泛的通用游戲場景方面也展現出了明顯優勢。
昆侖萬維表示,Matrix-Game大模型的開源將為多個領域帶來革命性影響。在虛擬游戲世界方面,借助模型的可控生成能力,可以低成本、高效率地創建多樣化、結構合理的游戲地圖與交互環境;在影視與元宇宙內容生產方面,Matrix-Game支持高保真、物理一致的動態場景合成,為沉浸式體驗開發與創意內容生成提供了通用世界建模基礎;在具身智能體訓練與數據生成方面,盡管當前模型未直接用于具身智能,但其生成大規模交互視頻的能力具備擴展至具身智能體訓練與評估的潛力。
Matrix-Game大模型的開源不僅是對技術實力的一次展示,更是對開源社區的一次回饋。昆侖萬維表示,未來將持續投入前沿技術與基礎模型研發,并堅定開源SOTA級別模型,以推動整個行業的共同進步與發展。