OpenAI近期發布了一項名為HealthBench的創新評估工具，該工具專為大型語言模型（LLMs）在醫療領域的實際應用和安全性設計。這一開創性項目的成功落地，得益于全球60個國家、26個醫學專業的262名醫生的積極參與與專業指導。HealthBench旨在填補當前評估體系中的空白，特別是在真實臨床場景模擬、專家意見整合以及診斷范圍覆蓋方面。

傳統的醫療AI評估方法往往局限于結構化的測試形式，例如選擇題，這些形式雖然對初步篩選有效，但難以全面反映臨床互動的復雜性和多樣性。相比之下，HealthBench采用了一種更為貼近現實的評估模式，它包含了5000場模擬對話，這些對話發生在模型與普通用戶或醫療專家之間，每場對話均以用戶提問收尾，模型的回答則根據醫生制定的詳細評估標準進行打分。

HealthBench的評估框架精心設計了七個核心領域，涵蓋了緊急轉診決策、全球健康狀況理解、健康數據處理、背景信息探尋、針對性溝通策略、回答的深度以及面對不確定性的反應能力。每個領域都代表了醫療決策和患者互動中面臨的不同挑戰。OpenAI還推出了兩個評估變體，進一步豐富了評估維度：

一是HealthBench Consensus，它聚焦于34項經醫生驗證的關鍵標準，旨在評估模型在提供緊急護理建議或尋求額外背景信息等方面的行為表現；二是HealthBench Hard，這是一個更具挑戰性的子集，包含了精心挑選的1000場對話，專門用于測試當前最先進模型的能力極限。

在評估過程中，OpenAI對多個模型進行了測試，包括GPT-3.5Turbo、GPT-4o、GPT-4.1以及更新的o3模型。結果顯示，模型間的性能差異顯著：GPT-3.5的得分為16%，GPT-4o提升至32%，而o3模型更是達到了60%的高分。值得注意的是，小型且成本效益高的GPT-4.1nano模型，其表現甚至超越了GPT-4o，同時推理成本降低了25倍，展現了作為臨床輔助工具的巨大潛力。

評估還發現，模型在不同評估領域和維度上的表現各不相同。在緊急轉診和針對性溝通方面，模型表現相對較強；而在背景信息探尋和回答完整性方面，則面臨更多挑戰。當將模型輸出與醫生回應進行對比時，盡管未輔助的醫生初始回應得分較低，但在處理模型生成的草稿時，特別是在使用早期版本模型時，醫生能夠取得明顯進步。

為確保評估結果的可靠性，HealthBench還引入了評估模型一致性的機制。OpenAI通過超過60,000個注釋示例進行的元評估顯示，作為默認評估者的GPT-4.1在大多數評估領域中，其表現不遜色于個體醫生，這進一步證明了其作為一致且可靠評估工具的潛力。

感興趣的讀者可以訪問OpenAI的GitHub頁面（https://github.com/openai/simple-evals），了解更多關于HealthBench項目的詳細信息和最新進展。