OpenAI近日在醫療健康領域邁出了重要一步，宣布推出并開源了專為醫療大模型設計的測試評估集——HealthBench。這一舉措旨在更精確地評估AI系統在醫療健康領域的表現。
與以往的測試集相比，HealthBench在多個維度上實現了突破。其核心測試對話集由262名醫生精心打造，他們來自60個國家和地區的26個專業，確保了測試內容的難度、真實性和豐富性。這些醫生的專業背景使得HealthBench能夠覆蓋廣泛的健康場景和行為維度。
具體而言，HealthBench包含了48562個獨特的醫生評分標準，這些標準不僅涵蓋了緊急情況和全球健康等多個健康背景，還涉及準確性、遵循指示和溝通等多個行為維度。這種開放式評估方式，使得HealthBench能夠更全面地反映AI系統在醫療場景中的實際應用能力。
HealthBench在測試方式上也有所創新。它采用了多輪對話測試，而非簡單的答題或選擇題模式。這種測試方式更貼近真實醫療場景中的對話交流，有助于更準確地評估AI系統的理解和應對能力。
測試數據顯示，HealthBench的推出對AI系統在醫療保健領域的表現產生了積極影響。例如，GPT-3.5Turbo在HealthBench上的得分從16%提升至GPT-4o的32%，而更先進的o3模型則達到了60%的得分，整體性能有了顯著提升。尤其是小型模型方面，GPT-4.1nano不僅在性能上超越了GPT-4o，而且在成本上降低了25倍，展現了巨大的潛力和價值。
