医療AIは「賢いか」から、
「任せられるか」へ。

なぜ、これまで医療AI を任せきれなかったのか

専門試験では強く見える医療AI も、現場では小さな判断ミスを見逃せない。HealthBench は、開発者・事業責任者・医師の 3 者が共有できる基準を初めて提供する。

HealthBench Professional は、現場の会話で AI を試す

採点は知識量ではなく振る舞いに対して行われる。対話ケースは医師が想定する 3 つの実務タスクに分類され、各ケース固有のルーブリックで −10 点〜+10 点の加点・減点方式で AI を採点する。

Mechanism

3 つの実務タスク × 525 対話 × 医師ルーブリック

HealthBench Professional は、実際の医療相談に近い対話ケースを使う。AI の答えを、医師が作ったルーブリックで採点し、良い判断には加点、危険な判断には減点を与える。約 1/3 が医師による敵対的シナリオを含み、AI を本気で揺さぶる。

1. Care Consult（相談） — 不確実な臨床対話で、危険な前提に乗らずに応答できるか
2. Writing & Documentation（文書作成） — カルテ・紹介状の記載漏れや不正確な要約が起きていないか
3. Medical Research（医学研究） — 不確実な情報を断定的に書かず、出典を取り違えないか
4. Red-team（敵対） — 危険な前提に乗らず、情報不足では質問を返せるか

公開時、ChatGPT for Clinicians が専門医を上回った

公開時に提示された結果では、臨床ワークフローに最適化された ChatGPT for Clinicians（GPT-5.4 搭載）が、人間の専門医のスコアを大きく上回った。これは正答率の比較ではなく、HealthBench Professional のルーブリックでの採点結果である点が重要だ。

客観的な安全性スコアが出るため、医療機関は「ハイリスクのケースのみ医師レビュー」のように、レビュー対象を絞った運用設計を組みやすくなる。一方で、一つのベンチマーク値で「医師より安全」と断定するのは早計で、業務単位での再評価と運用設計が前提になる点は変わらない。

評価できるようになると、導入の進め方が変わる

「測れない」から「測って改善できる」に変わったとき、3 者の動き方は具体的に変わる。

押さえるべき数字

日本で使うなら、評価基準をそのまま輸入しない

米国前提のルーブリックは、日本の医療制度ではそのまま正答にならないケースが含まれる。「専門医紹介制」「民間保険」を前提とした正答が、日本の「国民皆保険・フリーアクセス」の制度下では誤答扱いになるリスクがある。

日本のヘルステック企業が、HealthBench Professional をベースにしつつ、日本の学会ガイドライン・過剰医療抑制・高齢者配慮といった独自評価軸をルーブリックに加える。さらに MIMIC-IV など実在の電子カルテデータと組み合わせれば、「実データ対応力」と「臨床安全性」を兼ね備えた品質基盤になる——という方向性が現実的に描ける。重要なのは海外ベンチマークをそのまま信じることではなく、自社や国内医療に合う評価ループへ作り替えることだ。

次にやること

完全無料・MIT ライセンスで公開されているため、検証への着手障壁は低い。「面白い論文だね」で終わらせず、自社の AI 評価ループに HealthBench Professional を組み込むところまで持っていきたい。

出典