社内研修で、講師がLLMにソクラテスの三段論法を解かせた。「すべての人間は死ぬ、ソクラテスは人間である」。
LLMは、ソクラテスは死ぬ、と正しく答えた。
参加者は、AIが推論した、と感心した。
講師は言った。「論理学の教科書で、最も有名な例文の一つです」。
正しい答えは、AIが考えた証拠になるのか。
正しい答えは、推論でも暗記でも説明がつく
LLM（大規模言語モデル、文章を作るAI）は、書籍、Webのテキスト、論文などを大量に学習している。
与えた文脈に続くトークン（文字のかたまり）を、確率の分布から選んで文章を作る。
有名な例文は、学習データに答えごと何度も現れている見込みが高い。正しい答えは、推論でも暗記でも説明がつく。
生成の中に推論と呼べる働きがあるか。答えは、推論の定義しだいで割れる。
モデルの内部を直接確かめる方法も限られている。定義を争う前に、答えの動き方を見る。
研修で感心した参加者は、答えの動き方を一度も見ていなかった。
暗記を推論と取り違えたまま仕事を任せると、初めて見る条件で答えが崩れても気づけない。
前提の差し替えは、九九の外の問題を出すことだ
九九を暗唱した子どもに掛け算の原理を尋ねるなら、九九の外の問題を出す。
LLMにも、教科書の外の問題を出す。
問題の形を保ったまま、前提の中身を学習データに現れる見込みの低いものへ変える。本稿では、前提の差し替えと呼ぶ。
変えた後の答えの動きを見る。
人の試験でも、過去問を同じ形で出すと、理解と暗記が混ざる。差し替えは、理解と暗記を分けるための出題である。
緑色の猫を出すと、答えはどこで崩れるか
一つ目は、事実に反する前提だ。「すべての猫は緑色である、タマは猫である、タマは何色か」。
常識より前提に従えるかを見る。
二つ目は、架空の語である。「すべてのボルクはザンである、ピスはボルクである」。
言葉の連想に頼れる手がかりをゼロにして、構造を扱えるかを見る。
三つ目は、前提を一つ減らすか、矛盾させる方法だ。結論は出せないと答えられるかを見る。
四つ目は、同じ問題の言い回しを変える方法である。
表現を変えて答えが変わるなら、構造より表面に反応している疑いがある。
2024年、Appleの研究者らは、算数の文章題の中身を差し替える実験を報告した。
数値を変えると、人名を変えたときより正答率が大きく下がった。答えに無関係な一文を足すだけで、正答率は最大で65%下がった。
教科書どおりの問題で出た正解は、差し替えて確かめるまでは当てにならない。
差し替えても正しく答え続ける範囲では、構造を扱えている根拠になる。崩れた場所は、モデルの弱点の地図になる。
自分の仕事では、動くべき前提を自分で決める
仕事でLLMを使う人が知りたいのは、自分の課題でどの条件のときに答えが崩れるかだ。
典型的な問いを一つ選ぶ。前提を一つずつ変えたり、外したり、矛盾させたりする。
前提を変えても答えが同じなら、モデルは前提を読み飛ばしている。
次の文面のかっこの中を、自分の仕事に書き換えて使えばよい。
次の前提で、（例：来月の発注量）を答えてください。
前提1：（例：先月の販売数は100個です）
前提2：（例：来月は販売促進の催しがあります）
答えの後に、どの前提が答えを決めたかを一行で書いてください。前提を一つ書き換えて、同じ文面を送る。答えが動いた前提と、動かなかった前提を記録する。
差し替えの問題を作れるのは、正解を知っている人だ。どの前提で答えが変わるべきかを決めるのは、使う人である。
発注量の例なら、動くべき前提は販売促進の催しだ。催しを外した文面で、発注量が減るかを見る。
感心するのは、緑色の猫を試してからでいい
有名な問題への正解は、推論と暗記の両方で説明がつく。LLMの推論は、前提を差し替えて答えの動きで確かめる。
感心するのは、ソクラテスを緑色の猫に替えても、答えが前提どおりに動いてからでいい。
拙著『ChatGPT はじめてのプロンプトエンジニアリング』の4章2節「3つの推論パターン」に、この記事の考え方を書きました。読むと、AIの答えがどの前提の上に立ち、どこで崩れるかを自分で試す問いを組み立てられるようになります。
AIの答えが物足りないとき、疑うべきはAIか、自分の言葉か。
『ChatGPT はじめてのプロンプトエンジニアリング』
AIは言葉でしか動かない。プロンプトを暗記するのをやめ、構成要素に分解して、自分の言葉で意図を込める力を鍛える本です。
読み終えたとき、手元に残るもの
- 必須、任意、形式の三つに分けたプロンプトの構造
- 回答の質を変える、意図を込めた生きたプロンプト
- 発注と検収は人が担う、AIとの役割分担
- 章末の演習プロンプト26題
4刷重版。全国の大学図書館65館が所蔵しています（2026年10月時点）。