清華大學智能產業研究院(AIR)的研究團隊在自動駕駛與具身智能的交叉研究領域取得突破性進展,其創新成果已被國際頂級人工智能會議NeurIPS 2025正式接收。這項研究首次嘗試將人類駕駛員的腦電信號(EEG)認知特征融入自動駕駛模型的訓練過程,為提升系統在復雜場景下的決策能力開辟了新路徑。
當前,基于視覺的端到端自動駕駛技術雖已成為行業主流,但現有模型多依賴對道路、車輛等視覺特征的標簽化訓練,難以實現類似人類的具身推理能力。尤其在應對突發狀況或復雜交通環境時,系統常因缺乏認知靈活性而暴露安全隱患。如何讓自動駕駛系統具備更接近人類駕駛員的認知與判斷能力,成為全球科研團隊共同面臨的挑戰。
針對這一難題,研究團隊提出“具身認知增強的端到端自動駕駛”方法,并構建了“駕駛-思考”(Driving-Thinking)訓練框架。該框架通過采集包含道路視頻與同步駕駛員腦電信號的多模態數據,利用通用腦電大模型(LaBraM)提取人類駕駛時的潛在認知特征。隨后,采用對比學習技術,使自動駕駛視覺網絡在訓練中模仿大腦對交通環境的認知反應,從而賦予系統更接近人類的決策模式。
為降低實際應用成本,研究團隊設計了獨特的兩階段訓練策略。第一階段,模型通過腦電數據進行跨模態學習,獲取駕駛認知能力;第二階段及實際部署時,系統僅需輸入車載攝像頭視頻即可完成決策,無需額外安裝腦電采集設備。這種設計巧妙地將人類隱性的認知經驗遷移至機器視覺模型中,實現了“零硬件增配”下的性能提升。
實驗驗證環節,研究團隊在公開自動駕駛數據集nuScenes和閉環仿真測試平臺Bench2Drive上展開測試。結果顯示,引入人類認知特征后,主流端到端自動駕駛模型的規劃軌跡誤差顯著降低,碰撞率相對下降18%至26%。尤其在面對前車突然切入等高風險場景時,增強后的模型展現出更接近人類的防御性駕駛策略,例如提前減速、保持安全距離等。
這項研究首次將人類駕駛認知直接應用于端到端自動駕駛規劃任務,為提升系統安全性提供了全新思路。其創新性的跨模態學習框架與低成本部署方案,不僅為自動駕駛技術突破提供了理論支持,也為腦啟發人工智能與具身智能領域的交叉研究提供了重要參考。









