6 月 27 日消息，隨著 AI 智能體越來越聰明，甚至能夠主動幫助用戶在手機上完成各種任務(wù)（例如修改某項設(shè)置、打開導(dǎo)航），但 AI 本身并不理解 UI 結(jié)構(gòu)對應(yīng)的具體運行機制，僅僅是按照預(yù)設(shè)程序執(zhí)行操作。

蘋果與華盛頓大學(xué)的研究人員現(xiàn)在聯(lián)合發(fā)表了一篇論文，探討如何讓 AI 學(xué)會判斷各種操作所產(chǎn)生的后果，避免執(zhí)行用戶未批準的高風(fēng)險動作。

AI 智能體的自主行為是 2026 年蘋果系統(tǒng)升級的核心功能之一。蘋果在 2024 年 WWDC 上就曾展示過 Siri 的未來發(fā)展方向 —— 幫用戶代做諸如在線購物、訂票等任務(wù)，但這種自動化看似便捷，卻引發(fā)了關(guān)鍵問題：如果 AI 誤點“刪除賬戶”而非“注銷”，會發(fā)生什么？

手機作為個人設(shè)備，存儲著銀行金融數(shù)據(jù)、健康記錄、照片和私人信息。當 AI 智能體代行任務(wù)時，必須區(qū)分哪些動作無害、哪些可能造成持久或危險后果，更需知道何時停止并請求用戶確認。

然而，多數(shù) AI 開發(fā)商只是停留在讓 AI“會操作”（如識別按鈕、找到對應(yīng)的頁面、按指令執(zhí)行程序），卻甚少關(guān)注這些操作對用戶的后續(xù)影響。

蘋果 AI 研究人員指出，并不是所有動作都安全無風(fēng)險：點擊“刷新”按鈕是低風(fēng)險行為，但點擊“轉(zhuǎn)賬”則是高風(fēng)險行為。

這項研究從 AI 安全與 UI 設(shè)計專家參與的研討會開始，目標是創(chuàng)建一個“分類法”（結(jié)構(gòu)化列表），用于定義 UI 動作的不同影響類型。團隊圍繞以下問題展開：

動作是否可撤銷？

影響僅涉及機主還是包括更多人？

是否改變隱私設(shè)置或產(chǎn)生費用？

論文顯示，研究人員建立了一種多維度標注手機 App 動作的方法。例如，刪除消息可能在 2 分鐘內(nèi)可撤銷，但超過時間則無法恢復(fù)；轉(zhuǎn)賬通常需協(xié)助才能撤銷。

這種分類法的重要性在于，它為 AI 提供了推理人類意圖的框架 —— 相當于一份“風(fēng)險檢查”程序，幫助 AI 判斷“哪些動作可能出錯”或“為何需要額外確認”。

為訓(xùn)練 AI 區(qū)分動作風(fēng)險，研究人員讓參與者在模擬移動環(huán)境中記錄高風(fēng)險動作（注：如修改賬戶密碼、發(fā)送消息、更新支付詳情），而非瀏覽、搜索等低風(fēng)險任務(wù)。

團隊將新數(shù)據(jù)與現(xiàn)有覆蓋安全、常規(guī)交互的數(shù)據(jù)集結(jié)合，用分類法標注所有數(shù)據(jù)，隨后測試了包括 OpenAI GPT-4 在內(nèi)的五大 AI 模型，評估其預(yù)測動作影響水平或分類屬性的能力。

結(jié)果顯示，在提示中加入分類法有助于提高風(fēng)險判斷準確率，但即使表現(xiàn)最佳的“GPT-4 多模態(tài)”模型，正確率也僅約 58%。

研究發(fā)現(xiàn)，AI 模型常會高估風(fēng)險 —— 比如將“清除空計算器歷史記錄”這類無害動作標記為高風(fēng)險。這種“謹慎偏見”看似更安全，卻可能因頻繁請求確認而讓 AI 助手變得煩人或無用。而更嚴重的問題在于，模型難以完成判斷 —— 無法確定動作是否可撤銷，或如何影響他人。

蘋果研究人員認為，用戶需要的是“有用且安全”的自動化功能：誤刪賬戶的 AI 是災(zāi)難，但要是連調(diào)整音量這種操作都要請示用戶的話還不如不做。

研究人員認為，他們的分類法可幫助設(shè)計更好的 AI 政策 —— 例如，用戶可自定義何時需要請求批準。這種方法支持透明化與個性化，幫助 AI 設(shè)計者識別當前模型的薄弱點（尤其在處理真實世界高風(fēng)險任務(wù)時）。

研究表明，教 AI“識別按鈕”還不夠，它必須理解“點擊背后的意義”—— 這對 AI 而言是項艱巨任務(wù)。人類可以通過上下文提示和歷史經(jīng)驗來進行判斷，但機器卻很難完美地解決這種復(fù)雜性操作。