ChatGPTの医療能力を検証！新ベンチマーク「HealthBench」が示すAI診療支援の未来

OpenAIは、医療分野におけるAIの性能を実際の使用状況に即して評価する新ベンチマーク「HealthBench」を発表。262人の医師と共に構築されたこの評価基準は、5,000件のリアルな医療会話と、各シナリオごとにカスタム設計された評価項目を備える。評価は「意味ある」「信頼性のある」「進歩可能な」ことを重視。GPT-4.1や新モデル「o3」などは既に高得点を記録しており、一部では医師の応答を超えるパフォーマンスを示す。評価は緊急対応や文脈把握など7テーマと5軸（正確性、文脈意識、情報の完全性など）で構成。すべての評価データと基準はオープンに公開され、今後の研究発展に貢献する。

ACNコメットブースター

• 🚀 ピッタリな読者像
  医療業界関係者、AI医療技術に関心のある研究者、デジタルヘルス投資家

• 🛠 使えるシナリオ
  AI医療スタートアップの技術評価指標、病院内AI導入前のリスク評価、政策立案時のデータ引用

• ⚔️ 対抗馬との違い

  1. MMLUなど旧型ベンチマーク — 実用性の低い単一選択問題

  2. 医師評価のみ依存の研究 — 主観の偏りと再現性の課題

  3. 曖昧な精度スコア — モデルの進化を阻む上限効果

• 🔭 ACN視点のインサイト
  HealthBenchは「AIがどこで医療を支援でき、どこでまだ無理なのか」を数値化できる初の本格的指標である。ChatGPTはすでに特定状況では医師に匹敵する回答力を示しており、次世代モデルは医療現場での実装に一歩近づいた。だが、文脈理解力や最悪ケースへの耐性は依然として課題である。幻想を抱く前に、このベンチマークのスコアを現実として直視せよ。

🛰 元ネタリンク
https://openai.com/index/healthbench/