在近期的一次技術分享會上，亞馬遜云科技深度探討了生成式AI應用評估的策略與實踐，為行業提供了寶貴的洞見。分享嘉賓首先描繪了生成式AI技術帶來的革命性變革，同時也不避諱地指出了伴隨而來的風險與挑戰。一個生動的案例被提及：一家企業早在2024年便引入了基于大語言模型的客服智能體，雖然迅速上線，但在實際應用中，智能體偶爾會因模型“幻覺”而做出不切實際的承諾，比如同意為已過保質期的商品退貨，這無疑加劇了企業的運營風險。

為了有效管控這些風險，嘉賓詳細闡述了評估生成式AI應用的四大核心維度：質量、響應速度、成本及置信水平。質量關乎輸出的準確性和可靠性；響應速度則依據應用場景的不同而有所差異，從即時推薦到離線報告生成，各有標準；成本考量不僅包括直接的經濟投入，還有人力資源的分配；置信水平則聚焦于評估結果的精準度和剩余風險的可接受程度。

接著，嘉賓介紹了當前主流的四種評估方法。人工檢查雖直接但成本高且難以擴展；基于規則的啟發式評估雖有一定標準，但評估維度受限；大模型間的相互評估靈活且可定制，但可能引入模型偏見，成本亦不菲；性能評估則專注于模型的推理速度和成本效益。

亞馬遜云科技推出的Bedrock Model evaluation服務成為此次分享的一大亮點。該服務不僅支持預制和自定義數據集，還融合了自動化與人工評估的雙重優勢，提供了一系列預設及自定義評估指標，極大地簡化了評估流程。自動化評估涵蓋準確性、穩健性和毒性等多個方面，而大模型評估則進一步細化為連貫性、完整性、有用性等12個維度。人工評估則側重于創意和寫作風格的考量。

針對檢索增強生成（RAG）模型，評估聚焦于知識檢索的覆蓋率和相關性，以及生成結果的連續性、完整性和有用性。對于智能體（Agent）模型，評估更為復雜，需從端到端任務完成度、工具使用正確性、有效性及推理規劃準確性等多個角度進行綜合評價。其中，端到端評估借助大模型作為評判者，確保了任務完成度的準確衡量。

為了確保生成式AI應用在上線前的萬無一失，Bedrock的Gatekeeper Drill服務作為最后一道防線，通過設置過濾器有效防止了Prompt注入攻擊，檢測并屏蔽了不相關內容，同時準確識別個人身份信息和敏感信息，為面向客戶的應用場景提供了堅實的安全保障。

即便如此，持續的評估與跟進仍是必不可少的。通過定期生成離線評估指標，并保持每周的跟進頻率，企業能夠不斷增進對生成式AI應用的信心。事實上，已有不少企業委托亞馬遜云科技為其智能體和大模型提供評估支持，其中不乏早在2024年便涉足生成式AI領域的企業。

亞馬遜云科技的CageMaker與開源框架FMEVO也為模型評估提供了更多選擇。對于RAG模型，開源框架ReGGAs同樣是一個值得考慮的評估工具。而在智能體模型評估方面，LongFils和DPV等開源方案也在業界獲得了廣泛認可，它們能夠在線評估模型并自動生成評估報告。