2025年,智能體技術迎來了其發展歷程中的關鍵節點,被譽為“智能體元年”。這一年,AI技術實現了從簡單對話生成到自主執行任務的范式轉變,智能體正逐步成為商業化的核心焦點和下一代人機交互的主導模式。然而,隨著智能體技術日益接近實際應用,其潛在風險也日益凸顯。
智能體的兩大核心能力——自主性和行動力,在帶來高效與便捷的同時,也成為了風險滋生的溫床。具備高度自主性和行動力的智能體,一旦失控或越界,可能引發嚴重后果。為此,一份名為《智能體體檢報告——安全全景掃描》的報告,從最新發展狀況、合規認知度及合規實際案例三個維度,深入探討了智能體技術在狂奔過程中的安全合規問題。
為了全面理解智能體,報告提出了一個基于“容錯性”和“自主性”兩個維度的價值生態模型。容錯性衡量的是智能體在出現錯誤時的后果嚴重程度,而自主性則反映了智能體在沒有人類直接干預下的決策和執行能力。這一模型為智能體產品提供了定位,也為討論其安全合規問題提供了更為適配的風險準則。
隨著智能體產業生態和應用場景的逐漸清晰,關于其安全性的討論也日益激烈。一方面,有人認為智能體一旦出現安全事故,后果將難以控制,急需加強安全防護;另一方面,也有人認為當前應優先考慮技術發展,過度強調安全可能會阻礙創新。為了探究這一問題的行業共識,報告結合了訪談和問卷調查。
調查結果顯示,大部分受訪者認為智能體的安全合規問題“非常重要”,但行業對此的整體投入與響應尚顯不足。盡管安全合規并非智能體當前最優先解決的問題,但其在行業內的關注度仍然較高。受訪者普遍認為,智能體執行任務的穩定性和完成質量、落地場景探索和產品化以及基礎模型能力的增強是當前最緊迫的問題。
在智能體面臨的安全合規挑戰中,AI幻覺與錯誤決策、數據泄露以及有害內容輸出是行業最為關注的三個問題。尤其是AI幻覺問題,在醫療、金融等高風險領域可能帶來嚴重后果。例如,一個醫療診斷智能體即使誤診率較低,在龐大用戶基數下也可能造成大量誤診案例。
智能體協作的安全風險同樣不容忽視。隨著智能體生態的豐富,多個智能體組成團隊共同推進項目的場景日益增多。然而,現有的智能體互連協議在安全性設計上仍存在諸多不足,如身份認證與權益管理、隱私與上下文保護等方面的缺陷。為此,業內正在推進智能體協作的安全方案,如“IIFAA智能體可信互連工作組”推出的智能體可信互連技術ASL,旨在保障智能體協作中的權限、數據、隱私等方面的安全。
在用戶數據保護方面,智能體的協同工作涉及多個環節,每一個環節都可能觸發用戶數據的收集、存儲、調用和跨主體交換。近八成的受訪者擔心用戶數據泄露的后果。在實際應用中,不同平臺在信息處理透明度方面存在顯著差異。例如,在簡歷生成場景中,一些平臺會明確提示風險并隱去敏感信息,而另一些平臺則缺乏此類保護措施。
盡管智能體中數據流轉路徑復雜,但用戶協議中已初步形成了責任劃分的基本框架。用戶與智能體交互產生的數據通常被歸類為“開發者數據”,其處理責任落在開發者身上。平臺通過協議構建了一道“責任防火墻”,保持技術提供者的中立性,將數據風險和合規義務轉交給開發者。然而,目前大部分開發者在安全合規方面能力薄弱,缺乏制度性規范和實踐經驗,這可能導致責任“歸位”但并未真正“到位”。











