一項名為“ClockBench”的全新測試揭示,人類在讀取指針式時鐘方面的準確率高達89.1%,而當前最先進的人工智能模型準確率僅為13.3%。這一差距凸顯了AI在視覺推理能力上與人類的顯著差異,尤其是在處理復雜視覺信息時,AI的表現(xiàn)遠未達到預期水平。
該測試由研究者阿萊克·薩法爾設計,旨在通過定制化的指針式時鐘數(shù)據(jù)集,評估AI在視覺推理任務中的表現(xiàn)。測試中,來自6家企業(yè)的11個大型語言模型與5名人類參與者展開對比。數(shù)據(jù)集包含180個獨特的指針式時鐘,涵蓋36種鐘面設計,融合了羅馬數(shù)字與阿拉伯數(shù)字、不同朝向、時針標識、鏡像布局及彩色背景等元素,確保測試的復雜性和多樣性。
每個時鐘需通過四類問題測試:讀取時間、時間計算、按特定角度調整指針及時區(qū)轉換。為保證公平性,數(shù)據(jù)集從零構建,避免與模型訓練數(shù)據(jù)重疊。測試結果顯示,AI模型在讀取時間時的中位誤差達1小時,而人類的中位誤差僅為3分鐘。性能最差的AI模型誤差甚至接近3小時,幾乎與隨機猜測無異。
在參與測試的AI模型中,谷歌旗下的Gemini 2.5 Pro以13.3%的準確率位居榜首,Gemini 2.5 Flash和GPT-5分別以10.5%和8.4%的準確率緊隨其后。然而,Grok 4模型的表現(xiàn)令人意外,其準確率僅0.7%,且將63.3%的時鐘判定為“無效”,遠高于實際無效時鐘的比例(180個中僅37個)。這種過度謹慎的策略雖在技術上增加了正確答案數(shù)量,但并未真正提升模型能力。
測試還發(fā)現(xiàn),鐘面特征對AI判斷影響顯著。當鐘面采用羅馬數(shù)字時,AI準確率驟降至3.2%;采用圓形數(shù)字時,準確率也僅為4.5%。秒針、彩色背景及鏡像布局均會干擾AI的判斷。相比之下,僅含時針的時鐘(準確率23.6%)和采用阿拉伯數(shù)字的標準時鐘,能讓AI取得相對更好的成績。
一個意外發(fā)現(xiàn)是,AI模型在成功讀取時間后,能正確完成時間計算、指針調整或時區(qū)轉換任務。這表明,AI的挑戰(zhàn)并非在于時間相關的數(shù)學運算,而在于從視覺信息中提取時間的初始步驟。薩法爾分析,原因可能包括:指針式時鐘讀取對視覺推理能力要求極高;罕見或特殊的鐘面設計在訓練數(shù)據(jù)中極少出現(xiàn);以及將視覺信息轉化為文字描述對當前AI模型而言難度較大。
ClockBench被定位為長期基準測試,其完整數(shù)據(jù)集目前保密,以避免污染未來AI的訓練過程,但已有一個公開版本供測試使用。盡管AI在該測試中得分普遍較低,薩法爾認為,性能最佳的模型已展現(xiàn)出基礎的視覺推理能力,優(yōu)于隨機猜測。然而,這些能力能否通過擴大現(xiàn)有方法規(guī)模提升,還是需要全新技術路徑突破,仍是一個待解的問題。
此前,中國一項研究也曾發(fā)現(xiàn)多模態(tài)語言模型存在類似短板,但當時GPT-4o模型在包含“讀時鐘、讀儀表”的任務中準確率達54.8%。此次ClockBench測試中,AI最高準確率僅為13.3%,既表明新基準測試難度顯著提升,也反映出AI在時鐘讀取能力上并未取得明顯進步。