AIに「結論を先に」と頼むのは今日からやめなさい：A社と答えたAIは、理由の欄にA社の長所を五つ並べた

担当者が、取引先の候補二社のどちらがよいかを、AIに聞いた。

プロンプトには、「結論を一言で答え、後に理由を述べてください」と書いた。

AIは、A社と答えた。

続く理由の欄には、A社の長所が五つ並んだ。

五つの理由は、本当にA社を選んだ理由だったのか。

理由の数が、結論の正しさに見えてしまう

理由が五つ並ぶと、結論は固く見える。

ところが、並んだ理由の数は、結論の正しさを示さない。

結論が誤っていても、結論を弁護する理由は滑らかに出てくる。

取引先の選定のような意思決定で、弁護の文章を検討の結果と取り違える。いちばん危ういのは、この取り違えだ。

AIは、消しゴムを持たずに書き進む

明日の気温を予想するとき、人は今日と昨日の気温を手がかりにする。

今の値を、過去の値の並び（系列）から決めるモデルを、自己回帰（autoregression）と呼ぶ。時系列の予測で広く使う。

y_t = a × y_(t-1) + ε_t

一つ前の値に係数を掛け、予想できないずれを足して、今の値を決める式だ。処理は、一方向に前へ進む。

GPT系の大規模言語モデル（LLM）も、自己回帰で文章を書く。

すでに出した語（トークン）の列を条件に、次の語を予測する。出した語を列に足して、また次の語を予測する。

すでに出した語を消して書き直す段は、手順の中にない。

油性のボールペンで、前から順に清書する書き方に近い。

名前の似た再帰（recursion）は、関数が自分自身を呼び出す構造で、自己参照にあたる。自己回帰は、系列の自己依存であり、別物だ。

「A社」と書いた瞬間、理由の欄の向きが決まった

冒頭の回答を、AIの書く順に追ってみる。

AIは、まず「A社」と書く。この時点で、結論は列の中に確定している。

次に、理由の一つ目を書く。条件になる列には、A社という結論がすでにある。

理由は、結論を支える方向に並びやすい。二つ目は、一つ目までの列を条件に選ぶ。

三つ目、四つ目、五つ目と進むほど、列はA社の弁護で厚くなる。

先に書かせた結論は、理由を書く段階で動かない前提になる。理由は、結論の弁護人に回った。

順序を逆にすると、答えの質が変わる

裏付けになる研究がある。グーグルのウェイらは2022年、答えの前に途中の推論を書かせるプロンプトの効果を、論文で示した。

途中の推論を書かせる方法を、思考の連鎖（chain of thought）と呼ぶ。

試験に使ったのは、算数の文章題を集めた問題集GSM8Kだ。

5400億パラメータのモデルに、途中の推論まで書いた解き方の例を8つ見せた。

正答率は、当時の最高水準に届いた。専用に調整したGPT-3の成績も上回った。

検討が先、結論が後。並べる順序が、答えの質を左右する。

プロンプトの並びが、AIの書く順序になる。

何を先に検討させ、何を最後に決めさせるか。決めるのは、頼む人の前提である。

背景と条件は、依頼の冒頭で渡す。AIは、冒頭の背景と条件を踏まえて、後の文章を書き進める。

次の文面のかっこの中を、自分の依頼に書き換えて使える。

目的：（例：来期の取引先を一社に絞ります）
背景と条件：（例：納期の確かさを最も重く見ます。予算は年300万円までです）
手順：
1. 候補ごとに、条件に照らした材料を並べてください。
2. 候補ごとに、長所と短所を同じ数だけ挙げてください。
3. 最後に、結論を一行で書いてください。

狙いと違う回答が出たら、回答を材料として、新しい依頼に渡す。読み直す基準も、依頼に書き添える。

新しい依頼の中では、前の回答は、検討の対象になる。

答える前に、内部で長く推論するモデルもある。見えている回答の順序がどこまで効くかは、自分の課題で確かめる。

五つの長所は、最初の一語が書かせていた

AIは、一度書いた言葉を前提に、次の言葉を書く。

A社の長所が五つ並んだのは、AIが最初に「A社」と書いたからだった。

出典

• Jason Wei ほか「Chain-of-Thought Prompting Elicits Reasoning in Large Language Models」2022年 https://arxiv.org/abs/2201.11903

拙著『ChatGPT はじめてのプロンプトエンジニアリング』の4章1節に、AIは確率的に最も妥当と思われる答えを返すという性質を書きました。読むと、その性質を踏まえ、AIにどこまで広げさせ、どこで絞らせるかを組み立てられるようになります。