担当者が、店頭の写真をAIに渡した。添えた言葉は、どう思う、の一言だった。
返事は、明るく清潔な売り場です、という感想だった。
担当者が知りたかったのは、値札の表示と棚の商品が合っているかだった。
目的は、担当者の頭の中にだけあった。
AIは、写真をきちんと読んでいた。では、写真に何を添えればよかったのか。
マルチモーダルAIの正体は、種類の違う情報を照らし合わせるAIだ
冒頭の担当者がAIに渡したのも、二種類の情報だった。店頭の写真と、一言の文章である。
マルチモーダルAIとは、文章、画像、音声、動画など、種類の違う情報をまとめて理解し、生成するAIを指す。
情報の種類を、モダリティと呼ぶ。一種類だけを扱うAIは、ユニモーダルAIと呼ぶ。
狙いは、情報の量を増やすことより、種類の違う情報を照らし合わせることにある。
防犯カメラの映像だけでは、激しい口論と親しい会話を取り違える場面がある。音声が加わると、状況がはっきりする。
値札と商品の照合は、照らし合わせそのものだ。担当者が頼みたかった仕事は、マルチモーダルAIの得意分野のど真ん中だった。
足りなかったのは、何と何を照らし合わせるかの一行だった。
写真も声も、同じ数の並びに変わる
文章は、単語の断片に分ける。画像は小さな区画（パッチ）に、音声は周波数の図に分ける。
分けた断片は、どれもトークンという共通の数の並びに変わる。
典型的な仕組みは、三つの部分でできている。種類ごとの入力部、情報を結びつける融合部、答えを出す出力部だ。
土台は、意味の近いものを種類を問わず近くに置く共通の空間（埋め込み空間）だ。
OpenAIのCLIPは、約4億組の画像と文章で学んだ。原論文（Radfordら、2021年）は、インターネットから集めた4億組と記している。
CLIPは、犬という単語と犬の写真を、近くに置いた。
近さを決めるのは、辞書の定義より、学習データの中で一緒に現れた回数だ。データの偏りは、近さの地図に写る。
何を見るかを言わずに写真を渡すと、AIは偏りを含んだ地図のまま、目立つものを語る。
値札と棚が食い違ったとき、何が起きるか
言葉では褒めていて、声は皮肉っている場面がある。写真の表示と、添えた説明文が違う場面もある。
値札の表示と棚の商品が合わない場面も、同じ食い違いだ。
食い違ったとき、AIがどちらを重く見るかは、学習で身についた傾向が決める。答えに出てくるのは、結論だけだ。
防犯カメラの例は、映像と音声が同じ事実を指す場面の話である。どちらが勝つかを前もって知る方法は、2025年時点で限られている。
目的を書かずに渡せば、食い違いは、見つけてほしかった本人の目に触れないまま終わる。
差がつくのはここだ。写真に目的と見てほしい箇所を添える
写真に、どう思う、とだけ添えるプロンプトは、医者にレントゲンだけを渡す場面に似ている。痛む場所は、患者が言葉で伝える。
AIは、渡された写真を、手持ちの見方で読む。何のために見るかは、頼む人の頭の中にある。
AIに問う力とは、写真を見る目的を、自分の前提として言葉にする力だ。
次のプロンプトのかっこの中を、自分の写真に書き換えて使う。
目的：（例：値札の表示と棚の商品が合っているかを確かめます）
見てほしい箇所：（例：写真の下半分の値札と、真上の段の商品）
食い違ったとき：（例：写真と私の説明が違うときは、写真を信じてください）
報告の形：（例：結論の後に、写真のどこを根拠にしたかを一行で添えてください）写真を渡す前に、三つを書く
写真や音声を渡す前に、目的、見てほしい箇所、食い違ったときに信じるほうを書く。答えには、根拠にした箇所を添えてもらう。
店頭の写真なら、値札の段と商品の段を指して、合っているかを尋ねる。
明るく清潔な売り場という返事は、目的を書かずに渡した写真への、まっとうな答えだった。
拙著『ChatGPT はじめてのプロンプトエンジニアリング』の8章2節に、AIの画像認識の得意と苦手、精度を上げるために添える言葉を書きました。読むと、画像だけを渡したときにAIが何を勝手に決めているか、何を添えれば目的に答えさせられるかを試せます。
AIの答えが物足りないとき、疑うべきはAIか、自分の言葉か。
『ChatGPT はじめてのプロンプトエンジニアリング』
AIは言葉でしか動かない。プロンプトを暗記するのをやめ、構成要素に分解して、自分の言葉で意図を込める力を鍛える本です。
読み終えたとき、手元に残るもの
- 必須、任意、形式の三つに分けたプロンプトの構造
- 回答の質を変える、意図を込めた生きたプロンプト
- 発注と検収は人が担う、AIとの役割分担
- 章末の演習プロンプト26題
4刷重版。全国の大学図書館65館が所蔵しています（2026年10月時点）。