在人工智能領域，理解人類復雜意圖和情感一直是一個巨大的挑戰。然而，阿里巴巴通義實驗室的一項最新研究為這一難題帶來了曙光。這項研究由楊啟澤領導，并于2025年6月26日在計算機視覺領域的預印本平臺arXiv上發表，論文編號為arXiv:2506.21277v1。

在日常生活中，人們常常能從眼神、語調或細微的表情變化中讀懂他人的真實想法。但對于AI來說，這種“讀心術”卻難以實現。現有的多模態AI模型雖然能處理文字、圖像、視頻和音頻等多種信息，但在理解復雜的人類意圖和情感時卻常常“抓瞎”。它們要么忽略了重要的多媒體線索，要么無法準確理解整體語境。

為了解決這個問題，研究團隊開發了HumanOmniV2，這是一個能夠真正“讀懂”人類復雜意圖和情感的AI系統。HumanOmniV2的創新之處在于，它會像人類一樣先全面理解整個場景的背景信息，再進行深度推理。這種方法類似于心理咨詢師觀察來訪者的整體狀態，包括表情、語調、肢體語言等，以綜合理解對方的真實想法。

為了評估AI系統理解人類復雜意圖的能力，研究團隊專門創建了一個名為IntentBench的測試基準。這個測試基準包含了633個視頻和2689個問題，涵蓋了日常社交互動中的各種復雜情況。實驗結果顯示，HumanOmniV2在多個評測中都表現出色，特別是在新創建的IntentBench測試中，得分高達69.33%，超越了所有其他開源的多模態AI模型。

現有的AI系統在理解人類意圖時面臨兩個主要問題。第一個問題是“全景理解不足”，即AI模型往往只能看到局部信息而無法把握整體情況。第二個問題是“走捷徑問題”，即AI模型傾向于忽略視頻和音頻中的重要線索，更多地依賴文本模式來生成答案。這種理解偏差可能導致嚴重后果，例如AI助手在用戶最需要安慰時給出不合適的回應。

針對這些問題，研究團隊提出了一種全新的解決方案。他們要求AI系統在回答問題之前，必須先完整地理解和描述整個場景的背景信息。這種方法的創新之處在于引入了一種特殊的響應格式，即“背景理解-深度思考-最終答案”的三步驟回應方式。為了確保AI系統能夠準確理解背景信息并進行合理推理，研究團隊還設計了“背景獎勵”和“邏輯獎勵”兩種特殊的獎勵機制。

為了訓練這樣的AI系統，研究團隊開發了一套完整的訓練流程。首先是“冷啟動訓練”階段，使用包含詳細推理過程的高質量數據來穩定模型的推理能力。然后是兩個強化學習階段，第一階段專注于背景理解和邏輯推理能力的提升，第二階段則擴展到更廣泛的通用能力。這種分階段的訓練策略確保了模型能夠循序漸進地掌握復雜的多模態推理能力。

IntentBench測試基準的設計理念源于一個重要觀察：在現實的人際交往中，理解復雜意圖往往需要同時分析視覺和聽覺信息。IntentBench包含了三個主要領域：社交智能理解、情感識別和欺騙檢測。研究團隊在構建IntentBench時特別注重質量控制，確保每個問題都真正需要多模態信息才能正確回答。

HumanOmniV2的技術核心在于將強化學習技術巧妙地應用到多模態推理任務中。傳統的強化學習方法在處理多模態任務時主要關注最終答案的正確性，而忽略了推理過程的質量。為了解決這個問題，研究團隊采用了改進的組相對策略優化（GRPO）算法，并引入了四種不同類型的獎勵機制：準確性獎勵、格式獎勵、背景獎勵和邏輯獎勵。

實驗驗證顯示，HumanOmniV2在多個測試中均表現出色。在Daily-Omni測試中，HumanOmniV2的總體得分為58.47%，在最具挑戰性的“推理”任務中得分大幅提升。在WorldSense測試中，HumanOmniV2的得分為47.1%，在開源模型中排名第一。特別是在新創建的IntentBench測試中，HumanOmniV2取得了69.33%的優異成績，大幅超越了其他所有測試模型。

HumanOmniV2的成功不僅為學術研究帶來了突破，更為AI技術在現實世界中的應用開辟了新的可能性。在教育領域，它可以成為AI老師助手，通過觀察學生的表情和語調來判斷其學習狀態。在心理健康領域，這項技術可能改變在線心理咨詢的質量，使AI咨詢師能夠更準確地理解來訪者的情緒狀態。在商業客服領域，HumanOmniV2可以幫助打造更有同理心的AI客服系統，理解客戶的真實意圖和情緒狀態。

然而，研究團隊也指出了當前技術的局限性，如在某些復雜情況下可能出現錯誤判斷，以及響應格式可能限制模型在推理過程中的修正能力。他們計劃在未來繼續改進這項技術，包括擴大背景和預訓練的規模，探索在推理過程中進行多次驗證的方法，以進一步提升模型的性能。