近日，科技界迎來了一項重要進展，谷歌公司推出了名為LMeval的開源框架，旨在為大語言模型及多模態模型提供一個統一、標準化的評測體系。這一消息由知名科技媒體The Decoder在5月26日的報道中首次披露。
長久以來，新型AI模型的評測工作一直面臨著諸多挑戰。由于不同供應商在API設計、數據格式以及基準設置上的差異性，跨模型比較不僅耗時費力，還極為復雜。而LMeval框架的推出，無疑為解決這一問題提供了全新的思路。
LMeval框架通過一次性的基準設置，即可實現評測流程的標準化，極大地簡化了評測工作的復雜度，為研究人員和開發者節省了大量時間和資源。這一創新性的設計，無疑為AI模型的評測工作帶來了革命性的變化。
不僅如此，LMeval還通過LiteLLM框架實現了對Google、OpenAI、Anthropic、Ollama和Hugging Face等平臺之間接口差異的兼容，確保了跨平臺測試的無縫運行。這一功能不僅提升了測試的便捷性，還進一步推動了AI模型評測的標準化進程。
LMeval框架的評測范圍廣泛，不僅支持文本評測，還涵蓋了圖像和代碼等領域的基準測試。其靈活的輸入格式使得新測試項的擴展變得輕而易舉，同時支持是非題、多選題和自由文本生成等多種評估類型。LMeval還能有效識別模型采用的“規避策略”，即故意給出模糊回答以避免生成有害內容的行為。
為了更全面地評估模型的安全性，谷歌還引入了Giskard安全評分，通過百分比的形式直觀展示模型在規避有害內容方面的表現。同時，測試結果被存儲在自加密的SQLite數據庫中，既保證了數據的本地化存儲，又避免了被搜索引擎索引的風險，從而實現了隱私與便捷的兼顧。
LMeval框架還具備增量評估功能，這意味著在新增模型或測試項時，無需重新運行整個測試流程，僅需執行新增部分即可。其多線程引擎能夠并行處理多項計算任務，有效降低了計算成本和時間消耗。
為了更直觀地展示模型在不同類別中的表現，谷歌還開發了LMevalboard可視化工具。該工具通過雷達圖的形式，清晰地展示了模型在各項任務中的得分情況。用戶可以通過該工具深入查看具體任務，精準定位模型錯誤，并直接比較多個模型在特定問題上的差異。
