當用戶點擊網頁按鈕時頁面跳轉、輸入表單后獲得反饋、鼠標懸停顯示隱藏內容——這些日常上網時習以為常的交互，卻讓當前最先進的AI模型陷入困境。上海AI實驗室聯合浙江大學、中國科學技術大學深圳分校等機構的研究團隊，通過一項突破性研究揭示了AI在理解動態網頁方面的根本局限，相關成果發表于arXiv平臺（論文編號：2509.24709）。

傳統AI訓練方式如同讓畫家僅憑一張照片臨摹整幅畫作。研究者通常向模型展示網頁靜態截圖，要求其生成對應代碼，卻忽略了點擊、滾動等操作引發的動態變化。研究團隊形象地指出："這就像通過房屋照片設計建筑圖紙，卻不知道門如何開關、電路如何連接。"為此，他們開創性地提出讓AI觀看完整用戶操作視頻，通過觀察交互過程理解網頁運作邏輯。

基于這一理念，團隊構建了名為IWR-Bench的評測體系。該基準包含113個真實網站任務，覆蓋電商、教育、游戲等五大領域，按交互復雜度分為四級：從簡單的頁面滾動（L1）到完整的在線游戲開發（L4），按視覺復雜度分為極簡布局（V1）到數據儀表盤（V4）。每個任務配備操作視頻、靜態資源及詳細注釋，為防止模型"作弊"，所有資源文件均重命名為隨機編號。

研究團隊對28個主流AI模型展開全面測試，結果暴露出顯著短板。表現最優的GPT-5僅獲36.35分（滿分100），其視覺還原度達64.25分，但功能性評分驟降至24.39分。這意味著模型能生成外觀相似的網頁，卻無法實現按鈕點擊、表單提交等基礎交互。開源模型表現更弱，多數得分低于20分，顯示商業模型與開源方案存在代際差距。

測試揭示五大核心挑戰：時間序列理解不足導致操作時序混亂；狀態管理缺陷造成多步驟流程中斷；動態資源匹配錯誤引發顯示異常；代碼生成缺陷導致功能缺失；長上下文處理能力有限造成信息丟失。例如在訂票流程測試中，模型能顯示頁面但無法正確傳遞表單數據；在游戲測試中，能渲染界面但無法實現計分邏輯。

研究團隊開發的智能評測系統突破傳統方法局限。該系統通過程序化交互測試驗證功能完整性，模擬用戶點擊、輸入等操作并檢查預期反應；采用多層次視覺分析評估美觀性，結合光學字符識別與深度學習特征提??；引入大型語言模型進行語義評估，從用戶體驗角度綜合打分。這種立體化評測首次實現了功能與美觀的雙重量化。

技術分析顯示，視頻理解專用模型（如VideoLLaMA3-7B）得分僅13.67分，反而低于通用多模態模型，證明單純強化視頻處理能力不足以解決交互理解問題。配備"思維鏈"功能的模型版本表現略優，但提升幅度有限，表明當前推理增強技術尚未觸及問題本質。

這項研究為AI開發范式轉型提供關鍵依據。研究指出，未來需構建專門處理時序交互的新型架構，整合分層時序建模與多模態對齊技術；開發漸進式訓練方法，從簡單交互逐步過渡到復雜系統；建立更大規模、更高質量的訓練數據集，擴展任務覆蓋范圍。自動化評測框架的建立，則為行業提供了標準化評估工具。

在應用層面，該技術成熟后將徹底改變軟件開發模式。普通用戶可通過操作演示直接生成網頁應用，降低技術門檻；教育領域可借助動態學習過程提升教學效果；企業開發中，AI生成的初始代碼框架可加速原型設計。這種變革類似于從專業攝影設備到智能手機的影像技術普及，將數字創造力賦予更廣泛人群。

研究團隊強調，當前技術距離實用化仍有較大差距，但已證明基于視頻的交互理解是可行方向。通過建立三維分類評測體系、開發智能評估系統、識別關鍵技術瓶頸，這項研究為后續突破奠定了方法論基礎。完整技術細節可查閱arXiv:2509.24709論文。