谷歌FACTS團隊與數據科學平臺Kagle近日聯合推出一套名為FACTS的AI模型評估基準工具，旨在解決當前行業對生成式人工智能事實準確性缺乏統一衡量標準的問題。該框架特別針對法律、金融、醫療等對信息可靠性要求嚴苛的領域設計，通過多維度測試為模型性能提供量化參考。
評估體系將"事實性"拆解為兩大核心維度：其一為上下文事實性，要求模型嚴格基于給定信息生成回答；其二為世界知識事實性，考察模型調用預存知識或網絡檢索的能力。初步測試顯示，包括Gemini3Pro、GPT-5及Claude4.5Opus在內的主流模型，綜合準確率均未突破70%門檻，暴露出當前技術存在的系統性缺陷。
不同于傳統問答測試，FACTS基準包含四項創新測試模塊：參數基準檢驗模型內部知識儲備，搜索基準評估工具調用能力，多模態基準測試視覺信息處理，上下文基準驗證邏輯連貫性。為防止數據污染，測試集采用3513個公開樣本與保密數據組合的形式，其中Kagle保留的私有數據占比達30%。
在具體測試中，Gemini3Pro以68.8%的綜合得分領跑群雄，其搜索模塊表現尤為亮眼，獲得83.8%的超高評分。但該模型在參數測試中僅取得76.4%的成績，暴露出知識儲備與檢索能力的失衡。OpenAI的GPT-5以61.8%位列第三，其整體表現與第二名Gemini2.5Pro（62.1%）差距微小。
多模態測試成為所有模型的共同短板，即便是表現最佳的Gemini2.5Pro，在該模塊也僅獲得46.9%的準確率。測試數據顯示，當前AI系統在處理無監督視覺信息提取時，仍存在顯著的精度缺陷，這提示企業在部署相關應用時需建立人工復核機制。
核心發現顯示：主流模型事實核查能力普遍不足70%；搜索增強型架構可顯著提升回答準確性；多模態處理技術尚未達到商用標準。這些結論為AI研發者提供了明確優化方向，特別是知識檢索增強生成（RAG）系統的開發，需重點強化模型與向量數據庫的協同能力。
