做Robotaxi和造手機一樣簡單是啥體驗？
英偉達，剛剛在AI頂會NeurIPS上發布了Alpamayo-R1——
英偉達的第一個自動駕駛VLA，各項性能比傳統端到端強超過30%，而且發布即開源。
多模態大模型一統自動駕駛趨勢下，Robotaxi門檻可能真的大大降低：芯片直接買英偉達，算法也可以借鑒移植英偉達的VLA，自己再做一些風格、場景的特調……就和手機廠商一模一樣。
老黃的自動駕駛野心徹底不藏了：英偉達，要做成自動駕駛賽道的“安卓”。
Alpamayo-R1解決了什么問題說來也有趣，英偉達本身是端到端自動駕駛的“祖師爺”，而最新的VLA研究，要解決的主要問題卻是端到端的缺陷。
端到端系統從感知到控制一氣呵成，采用人類成熟司機的數據訓練，理論上可以無限“擬人”，處理各種Corner case。
但事實是已量產的系統依然經常翻車——比如：迎面來車違規左轉、行人突然闖入、臨時施工、交通標志被遮擋等等。
端到端折戟Corner case的根源，英偉達歸因為端到端局限性——看得見，但看不懂，也就是常說的“黑盒”特性。
英偉解決問題的思路是視覺-語言-動作模型，即流行的VLA。
先直接看結果：
對比的Baseline模型和Alpamayo-R1都是在英偉達構建的CoC數據集上訓練的，這本身也是這項研究的一個重要組成部分。
CoC的意思是因果鏈，這是模型可解釋性的重要根源依據。
而對比實驗中的Baseline模型，是在CoC數據集上訓練的純軌跡輸出模型，本身不具備推理能力。
實驗中的性能提升體現在：
規劃精度提升12%、越界率降低35%、近碰率降低25%、推理-行動一致性提升37%、端到端延遲降低到99ms。
所以，Alpamayo-R1提升主要體現在以往最容易出錯的場景中 —— 也就是說，它更接近“真正會判斷的司機”。
之前是完全不知道端到端能不能看懂，那么現在，英偉達又如何確認模型能“看懂”呢？
如何解決的Alpamayo-R1的重要工作包括3點，首先就是前面提到的Chain of Causation（因果鏈）數據集。
這是一套全新的數據標注體系，每一段駕駛數據不僅有“做了什么”，還有“為什么這樣做”，比如“減速并左變道，是因為前方有助動車等紅燈，且左側車道空閑”：
CoC本身是對CoT的發展和延伸，主要在“因果”上下功夫，基本上避免了CoT數據集行為描述模糊、因果關系混淆、行為推理與因果關系脫節等等問題。
當然了，CoC的標注校準，仍然離不開人工。
AR1本身則是基于NVIDIA的Cosmos Reason模型，這是一種專為物理 AI（Physical AI）設計的推理視覺語言模型：
整體結構上最大的特點是基于因果結構化推理而非自由敘事，意思是模型必須依據歷史可觀測證據，解釋操作的安全性與合規性——
這是第二個重要創新點，采用Multi-Stage Training（多階段訓練策略）：
首先在大規模駕駛數據上做模態注入，學習從視覺到動作的基本映射；
第二階段在CoC因果鏈數據上做監督微調，教會模型「先想清楚再開」；
最后通過強化學習（RL）進一步優化推理質量、推理-行動一致性和軌跡安全性。
這種分階段、分目標的訓練流程，使得模型在開放場景、長尾危險場景中表現更加穩健。
在軌跡輸出階段，AR1引入了一種基于擴散模型的軌跡解碼器，能在實時約束下生成連續、動態可行的駕駛軌跡。該模塊結合語言推理輸出與物理約束，實現從推理到控制的無縫銜接：
擴散模型和基本原理是通過一個前向過程逐漸添加噪聲到數據上，直到數據變成完全隨機的噪聲，然后再通過一個后向過程逐步去除噪聲，從而生成新的數據樣本。
這種生成方式使得模型能夠捕捉數據的復雜分布，并且可以通過控制噪聲的添加和去除過程來生成多樣化的樣本。
總結一下AR1的流程和原理。和其他自動駕駛系統一樣，輸入由多相機、多時序觀測幀組成，同時可以選配高層語言輸入（如導航指令或駕駛目標）。
而所有輸入（包括歷史自車運動）會被統一編碼成多模態token序列，按時序和傳感器順序排列，再送入主干模型 Cosmos-Reason進行推理與預測。
其中，每個相機視角先經過輕量級CNN與時間注意力模塊做特征壓縮與時序建模，隨后融合為 BEV（鳥瞰圖）表征。之后，所有模態（圖像、導航文本、自車狀態）被token化后統一輸入Transformer。
模型的輸出則包含三類token：推理鏈（reasoning traces）、中層動作（meta-actions）與未來軌跡預測（trajectories）。
最大的創新點，就是讓多模態自動駕駛模型具備可解釋的語義理解能力，且能夠與與運動狀態感知聯系起來，做到有明確因果對應關系的輸入-輸出。
Alpamayo-R1從何而來Alpamayo-R1當然可以算作VLA模型，但又和業內現在常見的“端到端+大語言模型外掛”的VLA有根本不同。
Alpamayo-R1完全是原生的多模態模型，基礎是英偉達年初CES上的發布的Cosmos基礎世界模型中的Cosmos Reason。
Cosmos本身其實是英偉達鏈接AI和物理世界的“中間層”，給千行百業提供最基礎的物理AI“安卓”模板——“通才”型世界模型。
基座模型的訓練方法——擴散模型和自回歸模型，其中基于擴散的WFM，預訓練包括“文本到世界生成預訓練”以及“頻到世界生成預訓練”；基于自回歸的 WFM，預訓練則包括“下一個token生成”以及“文本條件的視頻到世界生成”。
對應到Alpamayo-R1，預訓練其實就是CoC數據集的訓練過程。
而Alpamayo-R1的基座模型本身，則是Cosmos Reason，Cosmos的AI推理模型擴展，主要能力是通過思維鏈推理理解視頻數據。
這次的Alpamayo-R1，其實也在印證老黃在AI浪潮中給英偉達規劃的新布局——計算基礎設施之外，還要做機器人、自動駕駛等等物理AI的底層“安卓”。
首先是Alpamayo-R1本身與其說強調基座模型的能力，倒不如說是老黃賣力吆喝這套VLA的架構范式和訓練方法——Alpamayo-R1靈活開放，可以兼容各種基座大模型。
研究真正的價值，其實是CoC數據集的全新標注體系，以及可以利用思維鏈推理場景因果關系的大模型范式。
老黃早就多次闡述，物理AI是英偉達認定的下一階段人工智能“風口”，其中最關鍵的環節，就是構建鏈接物理世界和AI的“中間層”。千行百業，甚至沒有強AI算法能力的公司、個人，都可以用強大的基座模型和流程工具打造屬于自己的產品。
就比如說Robotaxi，英偉達前不久官宣了自己的Robotaxi戰略，有車有方案，還簽了Uber作為合作方。
但真正的目標，是打破Robotaxi目前的“封閉”模式。
在底層硬件層，統一芯片、傳感器的驅動接口，無論車企用的是禾賽還是速騰的激光雷達，都能直接適配英偉達的算法，避免硬件不兼容的研發內耗。
核心算法層面，就是這次剛剛開源的Alpamayo-R1，提供L4級自動駕駛的基礎能力，支持玩家通過 API 進行定制化優化，比如在校園場景中強化行人識別，在高速場景中優化變道邏輯。
至于上層招車、調度、計費、維保等等功能接口，有實力的出行平臺可以接入自有APP，而英偉達也可以在底層直接開放，只需接入接口就能快速上線Robotaxi服務。
如果說馬斯克的多模態大模型路線對傳統L4是一次前所未有的技術挑戰的話，那英偉達開源Alpamayo-R1，其實是對整個Robotaxi商業模式的沖擊——
L4玩家自持車隊、自建平臺的成型窗口期，越來越短了。
因為借助英偉達全棧軟硬件方案，大量本來沒有實力進軍Robotaxi的傳統網約車平臺、出租車公司，現在“開箱即用”了。
所以，自動駕駛賽道最終也會形成“安卓”和“蘋果”對壘的局面嗎？
對應安卓和蘋果的，會是英偉達和特斯拉嗎？
One more thing端到端的“開山之作”，其實就是英偉達2016年的論文End to End Learning for Self-Driving Cars，只不過當時的架構還是基于傳統卷積神經網絡。
后續Transformer威力顯現出來后，端到端思路首先被特斯拉應用量產，直到今天仍然是汽車工業轉型最重要的路徑。
不過對于頭部實力玩家以及“祖師爺”英偉達，端到端如今成了需要“被顛覆”的老舊技術范式——在英偉達領導前沿這項技術探索的，是我們的老熟人——吳新宙：
Alpamayo-R1的作者團隊，也幾乎清一色華人班底：
甚至，英偉達還詳細列出了每個貢獻者參與的環節：
