「最後は人が確認する」職場の末路：AIの誤りゼロが続いた後、桁を取り違えた請求書が支払いに回った

経理部で、AIが請求書の金額を読み取る仕組みが動き始めた。担当者は、AIの出した金額を一件ずつ見て、承認の印を押した。

最初の一か月、AIの誤りはゼロだった。

三か月目、担当者は金額の欄を眺めるだけで印を押していた。

桁を一つ取り違えた請求書が、承認を経て支払いに回った。

AIの答えは最後に人が見る。AI導入の資料に、よく載る一文である。

担当者は、確かに席に座っていた。人を席に置くだけで、確認は機能するのか。

印を押す手が止まらなくなった現象には、名前がある

金額の欄を眺めるだけで印を押した担当者の状態には、名前がある。オートメーション・バイアス（Automation Bias）だ。

自動化した仕組みの出力を信じすぎて、自分で確かめる手間を省く傾向を指す。

1980年代、自動操縦が広まった航空の分野で注目を集めた。1990年代には医療の分野でも、診断を助ける仕組みの結果を医師がうのみにした例の報告がある。

AIの処理の流れに人の確認を組み込む設計を、ヒューマンインザループ（Human in the loop）と呼ぶ。人を輪の中に置く、という意味である。

航空や医療の事例の多くでも、確認役の人は席に座っていた。過信は、確認役がいるという安心のもとで起きた。

機械が正しいほど、なぜ人は確認を省くのか

百回に一回だけ誤る機械の横に、人が座ったとする。人は九十九回の空振りを重ねる。

空振りが続くうちに、見張りは緩む。まれな誤りを見張り続ける作業は、人にとって重い負担だ。

人間工学の分野では、古くからの知見である。冒頭の担当者も、誤りゼロの一か月を過ごした後に気を緩めた。

2012年、研究者のゴダードらは、自動化への過信を扱った研究を系統的に調べた。13,821本の論文から、条件に合う74本を選んで分析した。

過信を強める要因として挙がったのは、仕事の量、課題の複雑さ、時間の制約、技術への信頼と自信だった。

人に確認を省かせる仕組みは、四つにまとまる。負荷、権威、時間、安心である。

負荷とは、情報の多さだ。情報が多いほど、人は近道に頼る。

権威とは、技術への信頼である。先進的な技術の答えを、人は常に正しいものと見なす。

時間に追われるほど、人は再確認を省く。

安心は、機械の方が正確だという思い込みだ。思い込みが強いほど、自分の目で確かめる機会が減る。

訓練しても、呼びかけても防げない

厄介なのは、四つのどれもが、働く場面では筋が通っていることだ。

忙しい人が、ほぼ正しい出力を毎回見直す手間を省く。時間の使い方としては合理的だ。

確認を怠るなという呼びかけは、合理的な省略に負ける。

2010年、心理学者のパラシュラマンとマンゼイは、自動化への過信の研究をまとめた論文を出した。

二人によれば、過信は初心者にも専門家にも起きる。訓練や指示では防げない。

ベテランを席に置いても、注意を促す張り紙を貼っても、桁違いの請求書は通り抜ける。

心がけと手順は、ここで差がつく

効くのは、確認の作業を手順に組み込む形である。手順は三つある。

一つ目に、AIに答えの理由とデータの出どころを示させる。二つ目に、答えの主張を元の資料の箇所と突き合わせる。

三つ目に、極端な数値と意外な結論から先に調べる。

ゴダードらの分析は、過信を和らげる設計も挙げている。おすすめの答えの代わりに、意思決定の材料となる情報を示す設計だ。

航空機では、機長と副操縦士が別々に計器を見る。互いの結論を見る前に、それぞれが自分で調べる方法は、AIの答えにも使える。

手順を設けるべきなのは、誤りがまれで、起きたときの損が大きい用途である。冒頭の請求書の金額は、手順を設けるべき用途の典型だ。

確認の手順の正体は、何を問うかの言葉である

冒頭の請求書で確認の手順を踏むと、問いは決まる。

金額はどの欄から読んだか。前月から急に増えた取引先はどこか。

確認の手順を決める作業は、自分が何を問うかを決める作業だ。

AIに何を出させ、自分はどこを問うのか。使う前に言葉にして、依頼の文面に書き添える。

答えが資料の箇所から来ていれば、確認は元の箇所と突き合わせる作業になる。次の文面のかっこの中を、自分の仕事に書き換えて使える。

（例：今月の請求書20枚）から、取引先ごとの請求金額を表にしてください。
各行に、金額を読み取った箇所（ファイル名と欄の名前）を添えてください。
前月から2倍以上に増えた金額には、印を付けてください。
文字がかすれた欄には「要確認」と書いてください。

桁の違う請求書を止める、読み取った箇所を書かせる一行

三か月目の担当者に足りなかったのは、注意深さではない。どこを問うかを書いた手順だった。

桁の違う請求書を止めるのは、担当者の注意ではなく、金額の横に添えた読み取り箇所の一行だ。

拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章2節「意思決定に役立つNotebookLMの機能」に、この記事の考え方を書きました。読むと、AIの回答を元の資料と照らす作業を、心がけではなく手順として仕事に組み込めるようになります。

出典

• JASON Report: Perspectives on Research in Artificial Intelligence and Artificial General Intelligence Relevant to DoD
• Automation bias: a systematic review of frequency, effect mediators, and mitigators（Goddard et al., JAMIA, 2012）
• Complacency and Bias in Human Use of Automation: An Attentional Integration（Parasuraman and Manzey, Human Factors, 2010）