プロンプトに一行足すときの盲点：「簡潔に、かつ網羅的に」と足した翌日から、答えの長さが日によって変わった

社内のプロンプト集に、新しい一行が加わった。「簡潔に、かつ網羅的に」。

翌日から、AIの答えは日によって長さが変わった。

答えをそろえるために作ったプロンプト集が、答えを揺らし始めたのである。

規則で言葉を扱う時代は終わった。そう言われてから、30年以上がたつ。

では、機械のために規則を書く仕事は、本当に消えたのか。

規則を書く仕事は、開発者の机からいったん消えた

1950年代から80年代、機械が言葉をどう扱うかの決まりを書いたのは開発者だ。

開発者は、形式言語（意味が一通りに決まる、プログラム用の言葉）で規則を書いた。

代表は、1966年にジョセフ・ワイゼンバウムが開発した対話プログラムELIZAである。

1970年ごろにテリー・ウィノグラードが開発したSHRDLUも、同じ時代に属する。

規則を増やすほど、作る手間が増えた。規則どうしの矛盾も増えた。

1990年代から、言葉の知識の出どころは大量のテキストへ移った。

2013年のWord2Vec、2017年のトランスフォーマーを経て、規則はデータから学ぶものになった。規則は、重みの中に溶けた。

自然言語処理（NLP、コンピューターで言葉を扱う技術）は、ここで規則と縁を切ったように見える。

ところが、冒頭の担当者が書いた一行は、1980年代の開発者が苦しんだ規則の衝突と同じものだった。

一行を足した担当者は、規則の書き手だった

GPT-3やGPT-4の時代、AIに何をさせたいかを書くのは利用者だ。

本稿では、機械が言葉をどう扱うかの決まりを書く人を、規則の書き手と呼ぶ。

規則と聞くと、プログラムの中の専門的な文法を思い浮かべがちだ。だが、形式、順番、条件をAIに書く指示も、規則である。

規則を書く仕事は、消えていない。プロンプトを書く利用者の手元へ移っただけだ。

利用者は、形式言語の代わりに普通の言葉で書ける。ところが、普通の言葉で書く規則は、普通の言葉と同じくらいあいまいだ。

形式言語なら誤りとして弾く書き方も、普通の言葉なら通ってしまう。AIは、通った書き方をもっともらしく解釈して動く。

優先順位のない一行で、AIは毎回ちがう側を選ぶ

規則の時代の失敗は、利用者の手元で二つの形をとる。

一つ目は、矛盾である。「簡潔に、かつ網羅的に」は、規則の衝突の典型だ。

止まれと進めが同じ交差点に書いてあれば、運転する人は交差点で片方を選ぶ。

優先順位が白紙の指示では、AIも答えるたびに違う側を選ぶ。冒頭の答えの長さが日によって揺れたのも、同じ理屈だ。

二つ目は、AIが理解していると思い込むことだ。

ELIZAは、単純なパターン照合のプログラムにすぎない。なのに利用者の中には、本気で悩みを打ち明ける人がいた。

ワイゼンバウム自身が、利用者の反応に驚いている。のちに人々は、利用者の思い込みをELIZA効果と名づけた。

流暢な返事と理解は、別物である。答えの確かさは、流暢さより根拠で確かめる。

AIに答えを頼むときは、根拠も並べるよう指示に書く。

一行を足す前に、そろえたいのか広げたいのかを決める

規則が要るのは、答えを一つにそろえたい仕事だ。

思いつきを広げたい仕事もある。言い換えの候補が欲しい仕事もある。

どちらも、細かい規則が答えの幅を狭める。

プロンプトを書く前に、答えをそろえたいのか、幅が欲しいのかを決めて言葉にする。

規則を足すときは、ぶつかったときの優先順位も一緒に書く。

次の文面のかっこの中を、自分の仕事に書き換えて使えばよい。

仕事：（例：問い合わせへの返信文を作る）
求めるもの：（例：答えをそろえたい。担当者が変わっても同じ返信になるようにしたい）
規則：（例：結論を一文目に書く。300字以内にする）
優先順位：（例：規則がぶつかるときは、300字以内を優先する）

「簡潔に、かつ網羅的に」に足りなかった一行

NLPの70年で、規則の書き手は開発者から利用者に移った。

書き手になった以上、利用者も1980年代の開発者と同じ矛盾につまずく。

「簡潔に、かつ網羅的に」に足りなかったのは、どちらを先に守るかの一行だった。

この記事の考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の3章1節「プロンプト要素の組み合わせと最適化」に書きました。この節を読むと、自分が繰り返し書くプロンプトの中から、ぶつかり合う条件と、優先順位を書き足すべき箇所を見つけられるようになります。