担当者が、AIに新店舗の候補地を尋ねた。AIは、駅前のA地区を挙げた。
担当者は、A地区で稟議書を書き始めた。画面にあったのは、一位の答え一つだった。
二番手の候補は、A地区とどれほど近かったのか。
稟議書のどこにも、答えは残らなかった。
決裁者が「ほかの候補は」と尋ねたら、担当者は答えに詰まる。僅差の二番手か、大差の二番手かも語れない。
一位の答えの周りで、何が消えたのか。
0と1の採点は、候補どうしの近さを消す
AIの学習でも、同じ消え方が起きる。普通の学習では、正解のクラスを1、ほかのクラスを0として教える。
犬の写真は、猫には少し似ている。車とは遠く離れている。0と1の教え方では、どちらの近さも消える。
0と1の教え方は、模範解答だけを配る採点に似る。どの誤答が惜しかったかは、採点の外に残る。
一位の答えだけで書いた稟議書も、模範解答だけの採点と同じ形をしている。
知識蒸留の正体は、確率の濃淡ごと運ぶ知識の引っ越しだ
消えた近さを、AIの学習で受け渡す技術がある。知識蒸留（Knowledge Distillation）だ。
知識蒸留は、大きな教師モデルの知識を、部品の数（パラメータ）を減らした生徒モデルへ移す。生徒モデルは、小さいまま高い性能を出せる。
受け渡す中身は、教師モデルの出力である。出力は、各クラスへの確率の分布だ。
分布には、第一候補以外がどのくらいありそうかという濃淡が入っている。
濃淡を見えやすくする道具が、温度（Temperature）だ。確率に変える計算で温度を1より大きくすると、分布がなだらかになる。
なだらかな分布では、二番手以下の差が浮かび上がる。
生徒は、なだらかにした分布（ソフトターゲット）をまねる。教師がつかんだクラス間の関係を、生徒が取り込む。
名前は、化学の蒸留に由来する。混合物から大事な成分を取り出すように、複雑な表現の要点を軽いモデルへ凝縮する。
知識蒸留を広めたのは、2015年3月公開の論文「Distilling the Knowledge in a Neural Network」だ。
著者は、Geoffrey Hinton、Oriol Vinyals、Jeff Deanの三人である。
有名な例が、DistilBERTである。2019年の原論文は、BERTの大きさを40％減らし、言語理解の力の97％を保ったと報告した。
処理の速さは、60％上がった。小さなモデルの利点は、速い応答と安い運用費にある。
スマートフォンのアプリや、データを手元の機器の中だけで扱う場面で活躍する。
濃淡は、教師の誤りも一緒に運ぶ
落とし穴もある。生徒は、教師の濃淡をまるごと受け継ぐ。教師の誤りや偏りも、濃淡と一緒に受け継ぐ。
温度が大きすぎると、分布が平らになる。教師の鋭い見分けが薄れる。
チャットのAIに濃淡を語らせるときも、注意が要る。AIが文章で述べる「自信は八割です」は、蒸留で使う内部の確率分布とは別物だ。
AIが語った八割を稟議書に書き写せば、確かめていない数字が決裁の席に上がる。
AIへの相談は、次点と逆転の条件を尋ねるかで差がつく
チャットでAIに相談すると、たいてい一つの答えが返る。一つの答えだけを受け取る形は、正解ラベルだけで学ぶ形と同じだ。
二番手の候補と、AIが迷った場所は、画面の外に残る。答えと一緒に、次点と、順位が入れ替わる条件を尋ねる。
次のプロンプトのかっこの中を、自分の相談に書き換えて使える。
（例：新店舗の候補地）について、いちばん良い答えを一つ挙げてください。
自分の状況：（例：年間の賃料の上限。主な客層は30代の家族連れ）
お願い：ほかにあり得た答えを二つ挙げてください。答えごとに、どんな条件なら一位になるかを書いてください。自分の状況の欄は、頼む人の前提である。返ってきた条件と自分の状況を見比べれば、どの候補が自分に近いかを決められる。
AIの述べる濃淡は、自分で確かめに行く場所の目印に使う。何を確かめるかを決めるのは、問う側である。
決裁の席で効くのは、二番手の名前と逆転の条件だ
知識蒸留が受け渡すのは、正解の周りにある確率の濃淡だ。濃淡には、候補どうしの近さが入っている。
駅前のA地区で書き始めた稟議書に要ったのは、二番手の名前と、逆転の条件の一行だった。
決裁者が「ほかの候補は」と尋ねたら、担当者は一行を指させばよい。
拙著『ChatGPT はじめてのプロンプトエンジニアリング』の3章3節「メタ認知で引き出すAIの本領」に、この記事の考え方を書きました。読むと、AIに迷いや別の見方を語らせる問いの立て方と、その答えをどこまで信じてよいかの線引きを身につけられます。
AIの答えが物足りないとき、疑うべきはAIか、自分の言葉か。
『ChatGPT はじめてのプロンプトエンジニアリング』
AIは言葉でしか動かない。プロンプトを暗記するのをやめ、構成要素に分解して、自分の言葉で意図を込める力を鍛える本です。
読み終えたとき、手元に残るもの
- 必須、任意、形式の三つに分けたプロンプトの構造
- 回答の質を変える、意図を込めた生きたプロンプト
- 発注と検収は人が担う、AIとの役割分担
- 章末の演習プロンプト26題
4刷重版。全国の大学図書館65館が所蔵しています（2026年10月時点）。