英偉達近日在科技界掀起波瀾,宣布對其NVIDIA Cosmos世界基礎模型(WFM)進行重大更新,引入了一種開放且高度可定制的物理AI開發推理模型。這一創新為開發者提供了前所未有的控制力,使他們能夠精準預測、生成并推理可控的虛擬世界。
作為首批采用Cosmos的企業,1X、Agility Robotics、Figure AI、Foretellix、Skild AI及Uber將能夠更迅速、更大規模地為物理AI生成豐富的訓練數據。英偉達創始人兼CEO黃仁勛強調,Cosmos世界基礎模型標志著物理AI領域的一大突破,為機器人和物理工業的創新發展開辟了新路徑。
與此同時,NVIDIA Omniverse物理AI操作系統也在不斷擴展其行業覆蓋面和合作伙伴網絡。Accenture、Ansys、Cadence、Databricks、Dematic、Hexagon、Omron、SAP、Schneider Electric With ETAP及西門子等企業正將Omniverse與其領先的軟件工具相結合,進一步推動工業數字化進程。
不僅如此,英偉達還推出了兩款基于NVIDIA Omniverse和Cosmos平臺的新藍圖,旨在為機器人和自動駕駛汽車后訓練提供大規模可控合成數據生成引擎。這些藍圖極大地助力了機器人工廠和大規模合成數據的生成。
新發布的Cosmos世界基礎模型包括三款核心工具:Cosmos Transfer用于合成數據生成,Cosmos Predict專注于智能世界生成,而Cosmos Reason則致力于物理AI的多模態推理。Cosmos Transfer能夠處理結構化視頻輸入,生成可控且逼真的視頻輸出,簡化感知AI訓練過程。Agility Robotics正是利用Cosmos Transfer和Omniverse生成大規模合成數據,以訓練其機器人模型。
Cosmos Predict則通過多模態輸入生成虛擬世界狀態,支持多幀生成,預測中間行為或運動軌跡。1X、Skild AI、Nexar和Oxa等企業正在利用這一模型升級其機器人和自動駕駛系統。而Cosmos Reason則具備時空感知能力,使用思維鏈推理理解視頻數據,預測交互結果,為開發者提供了提升物理AI數據標注和管理的新途徑。
Cosmos世界基礎模型現已在英偉達API目錄中預覽,并列入谷歌云上的Vertex AI Model Garden。同時,開發者可以在NVIDIA DGX Cloud上使用原生PyTorch腳本或NVIDIA NeMo框架對模型進行后訓練,利用DGX Cloud上的NVIDIA NeMo Curator加速數據處理和管理。
NVIDIA Omniverse操作系統也在不斷擴展其應用場景。它通過統一物理世界的數據和應用,幫助開發者應對數字化挑戰。Ansys、Databricks、Dematic、Omron、SAP、Schneider Electric with ETAP及西門子等企業正將Omniverse集成到其解決方案中,加速工業數字化進程。特別是在物理AI領域,Intrinsic、Databricks等企業正在利用Omniverse實現大規模合成數據生成。
英偉達還推出了四款全新藍圖,助力機器人設施和大規模合成數據生成。Mega藍圖用于在工業數字孿生中測試多機器人機群,已在build.nvidia.com上發布預覽版。該藍圖已被Schaeffler、Accenture、現代汽車集團、梅賽德斯-奔馳、Pegatron及富士康等企業采用,以優化其工業運營。同時,NVIDIA Metropolis平臺支持的AI藍圖能夠構建監控整個設施活動的AI智能體。
在汽車制造領域,這些藍圖被用于測試和模擬材料處理自動化的機器人車隊。在電子制造業中,Pegatron和富士康則利用這些藍圖改善工廠運營和工人安全性。而在倉庫和供應鏈解決方案方面,凱傲集團、Dematic及Accenture等企業正集成Mega藍圖,推動新一代AI賦能的自動化發展。
英偉達還在GTC主題演講中回顧了自2012年AlexNet神經網絡問世以來的AI浪潮,從感知AI、生成式AI、代理型AI邁向物理AI的新時代。通過不斷豐富的世界基礎模型和Omniverse平臺,英偉達為模擬現實世界的物理特性、優化虛擬世界訓練開發提供了強大工具,惠及眾多機器人、自動駕駛和工業AI開發者。