AIに現場写真を見せたときの落とし穴：正確な物の一覧に続いた「配線が危険」の一文まで、担当者は信じた

担当者が、現場の写真をAIに渡した。

AIは、写っている物を一つずつ挙げた。続けて、「配線が危険な状態です」と書いた。

物の一覧は、写真と照らし合わせると正確だった。一つ目も、二つ目も、写真のとおりだった。

一覧が正確だったから、担当者は後半の一文まで、一覧と同じ重さで信じた。

では、回答のどこまでが、写真の中の事実だったのか。

正確な一覧ほど、後半の一文を疑えなくする

一覧が正確だと、後に続く解釈まで正確に感じる。

正確な目撃証言を聞いた後で、続く推理まで同じ重さで信じる。人の心理は、そう動く。

OpenAIは2024年5月13日、GPT-4oを発表した。音声、画像、文章をまたいで、リアルタイムに推論するモデルだ。

いまは多くの人が、画像を受け取って文章で答えるAIを、仕事で使っている。

写真を一枚渡すと、AIは写っている物を挙げる。続けて、場面で何が起きているか、何が問題かまで語る。

前半の正確さに安心したまま進めば、写真の外から来た言葉が、写真の事実の顔をして次の意思決定に入り込む。

見分けるAIと書くAIの差は、正解が先に決まっているかどうかだ

数年前まで、画像を見分けるAIと文章を書くAIは、別物だった。

カメラやマイク、各種センサーのデータから、対象を見分け、分類し、見つけ出すAIを、認識系AIと呼ぶ。

自動運転の車は、カメラの画像から道路標識を見つける。医療画像の診断支援も、音声アシスタントの音声認識も、同じ種類の仕事だ。

認識系AIの転機は、2012年のAlexNetである。トロント大学のクリジェフスキーらが、画像認識の国際大会ILSVRC 2012に出したモデルだ。

上位5つの候補に正解が入らない誤りの率は、15.3%。2位のチームは26.2%で、差は10ポイントを超えた。

文章生成AIは、大量のテキストから文脈やパターンを学び、新しい文章を生み出す。転機は、2017年のTransformerである。

冒頭の回答の前半は、見分ける仕事だ。後半は、書く仕事である。

生まれの違う二つの仕事が、一つの回答に同居していた。

認識系AIの出力は、ラベルや位置といった、はっきりした答えだ。分類の精度や、見つけた枠と正解の枠の重なり具合（IoU）などの数値で採点できる。

文章生成AIの出力は、自由な形の文章である。BLEUやROUGEといった自動の指標もあるが、良し悪しの採点では人の評価の比重が大きい。

写っているのが猫かどうかには、確かめられる正解がある。写真が何を意味するかの正解は、見る人の目的で変わる。

では、冒頭の回答のどこからが、写真の外の言葉なのか。

番号を振ると、「危険」の一文だけが宙に浮く

冒頭の回答を、前半と後半に分けてみる。

前半の一覧は、一行ずつ写真と照らし合わせられる。担当者が照らし合わせ、正確だと確かめた部分だ。

後半の「危険」の一文には、照らす相手が写真の中にない。危険かどうかの正解は、点検の目的と基準で変わる。

一覧の各行に番号を振り、解釈の根拠を番号で示させるとする。根拠の番号を示せない一文は、写真の外から来た言葉だ。

担当者は、その一文を一覧と同じ重さで受け取った。前半の正確さが、後半の保証に見えたからだ。

前半の正確さと後半の正確さは、別々に確かめるものだった。

差がつくのは、頼む段階である

回答を受け取ったら、正解のある部分は、元の画像や資料と照らし合わせる。正解が目的で変わる部分は、自分の基準と目的に照らす。

仕分けは、頼む段階から始められる。写っている物の一覧と、一覧についての解釈を、分けて書かせる。

解釈には、何のために知りたいかという目的を添える。次の文面のかっこの中を書き換えて使える。

添付の画像について、二つに分けて答えてください。
1 一覧：写っている物と、書いてある文字を、見えたとおりに挙げてください。
2 解釈：一覧をもとに、（例：作業場の安全点検）の目的で気づいた点を書いてください。
解釈の各行には、根拠にした一覧の番号を添えてください。

X線写真の影が異常かどうかのように、境目のあいまいな出力ほど、人による確認の比重を上げる。

疑う順番は、番号のない一文から

番号の欠けた解釈は、写真の外から来た言葉だ。番号の欠けた行から先に、元の画像と照らし合わせる。

一覧の正確さは、解釈の正確さを保証しない。

担当者が最初に疑うべきだったのは、正確な一覧の後に続いた、番号のない一文だった。

出典

• Alex Krizhevsky、Ilya Sutskever、Geoffrey E. Hinton「ImageNet Classification with Deep Convolutional Neural Networks」2012年 https://courses.cs.duke.edu/fall16/compsci527/papers/Krizhevsky%20et%20al%20DNN%20ImageNet%202012.pdf
• OpenAI「Spring Update」2024年5月 https://openai.com/index/spring-update/

拙著『ChatGPT 誰でも1時間でできる！ はじめてのGPTsのつくり方』の4章1節「高度な画像認識能力」に、この記事の考え方を書きました。読むと、AIに画像を渡すとき、何を見分けさせ、何を解釈させるのかを、自分の仕事に合わせて設計できるようになります。