昆侖萬維集團(tuán)近期宣布了一項(xiàng)重大技術(shù)進(jìn)展,正式向公眾開放了Matrix-Game大模型,這一創(chuàng)新成果專注于交互式世界的生成,為相關(guān)領(lǐng)域帶來了前所未有的技術(shù)革新。Matrix-Game不僅是Matrix系列在交互式世界生成領(lǐng)域的具體實(shí)踐,更是業(yè)界首個(gè)開源的、規(guī)模超過10B的空間智能大模型,專為開放式環(huán)境下的高質(zhì)量?jī)?nèi)容生成與精細(xì)控制而精心打造。
Matrix-Game的構(gòu)建基于三大核心組件:首先是Matrix-Game-MC數(shù)據(jù)集,這是一個(gè)龐大的、專門設(shè)計(jì)的交互世界數(shù)據(jù)集。該數(shù)據(jù)集整合了海量的Minecraft游戲視頻數(shù)據(jù),既包括無標(biāo)簽的視頻資料,也含有經(jīng)過精細(xì)動(dòng)作標(biāo)注、帶有鍵盤與鼠標(biāo)控制信號(hào)的Minecraft與Unreal可控視頻數(shù)據(jù)。這些數(shù)據(jù)為模型提供了復(fù)雜環(huán)境動(dòng)態(tài)與交互模式的高效學(xué)習(xí)基礎(chǔ)。
Matrix-Game主模型則是采用了前沿的擴(kuò)散模型技術(shù),能夠依據(jù)用戶輸入生成流暢且可控的互動(dòng)視頻內(nèi)容。模型通過無標(biāo)簽數(shù)據(jù)預(yù)訓(xùn)練與標(biāo)注數(shù)據(jù)可控訓(xùn)練的兩階段策略,顯著提升了空間理解、用戶指令響應(yīng)及物理交互建模的能力。用戶能夠體驗(yàn)到細(xì)致入微的交互控制,如前進(jìn)、跳躍、攻擊及視角移動(dòng)等動(dòng)作,操作自然且精準(zhǔn)。同時(shí),生成的互動(dòng)視頻在保持視覺連貫性的同時(shí),嚴(yán)格遵循物理規(guī)律,如重力與碰撞等,極大地增強(qiáng)了沉浸感。Matrix-Game還展現(xiàn)出了強(qiáng)大的多場(chǎng)景泛化能力,能夠適應(yīng)不同地形、天氣及生物群系,并具備向其他非Minecraft游戲環(huán)境拓展的潛力。
為了全面評(píng)估交互式世界生成模型的性能,Matrix-Game還推出了一套統(tǒng)一的GameWorld Score評(píng)測(cè)體系。該體系從視覺質(zhì)量、時(shí)序質(zhì)量、動(dòng)作可控性及物理規(guī)則理解四個(gè)維度對(duì)模型進(jìn)行量化評(píng)估,填補(bǔ)了該領(lǐng)域系統(tǒng)性評(píng)測(cè)標(biāo)準(zhǔn)的空白。在GameWorld Score評(píng)測(cè)中,Matrix-Game在各項(xiàng)維度上均表現(xiàn)出色,顯著優(yōu)于現(xiàn)有的開源基線模型Oasis與MineWorld。在雙盲用戶測(cè)試中,Matrix-Game生成的視頻內(nèi)容更受用戶青睞,進(jìn)一步證明了其在交互式世界生成領(lǐng)域的卓越表現(xiàn)。
對(duì)于感興趣的開發(fā)者和研究人員,Matrix-Game提供了豐富的資源。項(xiàng)目主頁、技術(shù)報(bào)告及GitHub和HuggingFace的開源地址均已開放,供公眾訪問和下載。這些資源的發(fā)布,無疑將推動(dòng)交互式世界生成技術(shù)的進(jìn)一步發(fā)展,激發(fā)更多創(chuàng)新應(yīng)用的誕生。
昆侖萬維集團(tuán)的這一開源舉措,不僅展示了其在人工智能領(lǐng)域的深厚積累與前瞻視野,也為全球開發(fā)者提供了一個(gè)強(qiáng)大的工具平臺(tái),共同探索交互式世界生成的無限可能。