2025/04/06 更新 2026/10/25

「正解率95%」に拍手する前に確かめること：検証に使った対象者の95%は、もともと陰性の人だった

健診センターの会議で、がんの判定モデルの報告があった。スライドには、正解率95%とだけ書いてあった。

会議室に、拍手が起きた。

検証に使った対象者の95%は、もともと陰性の人だった。

全員に陰性と答えるモデルでも、正解率は95%になる。

では、拍手の前に何を確かめればよかったのか。

拍手の陰で、見逃される人がいる

対象者が100人なら、陽性の人は5人。全員に陰性と答えるモデルは、5人を一人も拾えない。

それでも、正解率は95%と出る。スライドの数字は、5人の見逃しを一文字も語らない。

対象者の95%が陰性のとき、全員に陰性と答えるモデルは正解率95%になります。再現率は0%で、拾えた陽性はゼロです

がんの見逃しは、治療の機会を奪う。モデルをそのまま使えば、5人は見逃されたまま健診を終える。

95%という数字が隠していたもの

冒頭の95%は、100件の判定のうち95件が当たった、という意味だ。

すべての判定のうち当たった判定の割合を、正解率（Accuracy）と呼ぶ。正解率は、当たりと外れの中身を一つの数字に畳む。

中身を分けて見る表が、混同行列である。2値分類なら、件数を四つのマスに数える。

TP（真陽性）は、陽性と予測して、実際も陽性。FP（偽陽性、誤検知）は、陽性と予測して、実際は陰性。

FN（偽陰性、見逃し）は、陰性と予測して、実際は陽性。TN（真陰性）は、陰性と予測して、実際も陰性。

冒頭のモデルなら、FNのマスに5、TPのマスに0が入る。四つに分けた瞬間、95%の裏が見える。

名前の似た相関行列は、数値の変数どうしの関係の強さを並べた表だ。中に入るのは件数ではなく、マイナス1からプラス1の相関係数である。

同じ表から、違う問いに答える

がん診断のモデルで、20件を判定したとする。結果は、TP=9、TN=7、FP=2、FN=2。

正解率は、(9+7)÷20で80%だ。

適合率（Precision）は、陽性と言ったうち当たった割合。9÷(9+2)で約81.8%になる。

再現率（Recall）は、本当の陽性のうち拾えた割合。9÷(9+2)で約81.8%になる。

二つの値は、たまたま同じだ。答えている問いは別々である。

適合率は、陽性と言われた人がどれだけ本当に陽性か。再現率は、本当の陽性をどれだけ拾えたかを問う。

見逃しと誤検知、重いのはどちらか

例には、2件の見逃しがある。がんの見逃しは、治療の機会を奪う。

誤検知は、追加の検査という負担と不安を生む。

二つの外れは、片方を減らすと、もう片方が増える。

判定の基準をゆるめると、見逃しが減る。代わりに、誤検知が増える。

基準を厳しくすると、誤検知が減る。代わりに、見逃しが増える。

実際の研究も、二つを分けて報告している。グーグルの研究チームは2020年、乳がん検診の画像を読むAIの評価を、英科学誌ネイチャーに発表した。

比べた相手は、元の検診での専門医一人ひとりの読影である。米国のデータで、AIは偽陽性を5.7ポイント、偽陰性を9.4ポイント減らした。

英国のデータでは、偽陽性が1.2ポイント、偽陰性が2.7ポイントの減少。

正解率一つでは、どちらの外れがどれだけ減ったかは見えない。拍手が起きた会議のスライドも、同じだった。

陽性と判定する基準の線は、見逃しと誤検知の重さで決める

基準の線の位置は、混同行列の外で決める。

陽性と陰性がほぼ同数で、二つの損もほぼ同じなら、正解率はよい要約になる。冒頭の会議は、どちらの条件も満たしていなかった。

見逃しと誤検知のどちらを重く見るかを、先に一文で書く。精度が上がったと聞いたら、どの指標が上がったかを聞き返す。

AIに分析を頼むときは、次の文面のかっこの中を書き換えて使えばよい。

添付したデータは（例：判定モデルの予測と実際の結果、1,000件）です。
重く見る外れ：（例：見逃し。見逃し1件の損を、誤検知1件の損の10倍と見ます）
1. 混同行列を作ってください。
2. 正解率、適合率、再現率を並べてください。
3. 上の重みで見たときの、判定の基準の置き場所の候補を三つ出してください。