AIに写真を渡す前に書いておくこと：会議メモの写真から作った表に、誰も知らない決定事項が混じっていた

担当者が、会議の手書きメモを写真に撮った。写真をAIに添えて、決まったことを表にしてほしいと頼んだ。

返ってきた表は、整っていた。

表の中に、出席者の全員が初めて目にする決定事項が一つ混じっていた。

写真と質問文のどちらを信じるか。書いた行は、依頼の中にゼロ。

誰も知らない決定事項は、どこから来たのか。

信じる順番が空白なら、読みやすいほうが勝つ

AIは、写真より、質問文の言い回しに引っぱられていた。

生成AIには、写真より質問文の言い回しに引っぱられる傾向がある。研究者も、写真の外の事柄まで書き足す傾向を指摘してきた。

人にも同じ癖がある。現場の写真を添えた報告書を、本文だけ読んで済ませる場面だ。

とりあえず全部添付するプロンプトは、資料の仕分けまでAIに任せる。

仕分けの空白は、AIの手持ちの定番の見方で埋まる。勝つのは、読みやすいほうである。

整った表を確かめずに配れば、決まっていないことが、決まったこととして出回る。

写真と言葉を一緒に扱うAIの正体

写真と質問文を一緒に渡す使い方を、マルチモーダルと呼ぶ。文章、音声、画像、動画、センサーの値など、種類の違う情報を組み合わせて扱うことだ。

名前の似たモーダルは、画面（UI）の用語である。確認の窓のように、窓の操作を終えるまでほかの操作を止める状態を指す。

二つの語は、どちらも様式（モード）に連なる。会話の中で迷ったら、画面の話か、データの種類の話かを確かめる。

精度を支えるのは、補い合う関係と信じる順番

音声と唇の動きを組み合わせる音声認識がある。騒音で音声が乱れても、唇の動きは元の形のまま残る。

カメラ、レーダー、LiDARを組み合わせる自動運転もある。

情報が食い違ったときにどれを信じるかの規則を、設計の段階で作り込んである。

二つの例で精度を上げているのは、一方の弱点を他方が補う関係だ。

食い違ったときに信じる順番の規則も、精度を支える。

冒頭の依頼には、補い合う関係はあった。欠けていたのは、信じる順番の規則である。

写真を渡す前に、入力、優先順位、出力の三行を書く

入力には、何を渡し、どこを見てほしいかを書く。優先順位には、食い違ったときに信じる情報を書く。

出力には、表か、箇条書きか、文章かを書く。

次の文面のかっこの中を、自分の依頼に書き換えて使える。

入力：（例：会議の手書きメモの写真です。右半分の箇条書きを読んでください）
優先順位：（例：質問文と写真が食い違うときは、写真を優先します。文字がかすれた箇所は「判読不可」と書いてください）
出力：（例：決定事項、宿題、保留の三列の表にしてください）

AIが書き添える「写真を優先しました」は、AIの自己申告にすぎない。

返ってきた表は、写真と突き合わせて確かめる。

誰も知らない決定事項は、信じる順番の空白から入った

画像も音声も、どこを見て何を信じるかを添えて、初めて根拠になる。

種類を増やすより、信じる順番を一行書くほうが効く。

会議メモの写真なら、表の決定事項を一行ずつ写真の文字と照らし合わせる。

誰も知らない決定事項は、信じる順番の一行が欠けた場所から入り込んでいた。

この記事の考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の2章1節「ソースの品質がすべての土台」に書きました。この節を読むと、写真と文章、資料と資料が食い違ったとき、AIに黙ってならさせず、どちらを根拠にするかを先に決められるようになります。