AIに見せる例で、正解より大事なこと：例の正解をわざとでたらめにしても、大きなAIの成績はほぼ落ちなかった

担当者が、問い合わせを分類するプロンプトに例を並べた。

例のラベルの正しさは、三回見直した。例の書式は、一件ずつ違う形のまま送った。

研究の報告が示す効きどころは、逆だった。

分類の例で、正解のラベルをわざとでたらめにした実験がある。大きなモデルは、性能をほぼ保った。

では、担当者が三回見直した正しさは無駄だったのか。

正解がでたらめでも動く、文脈内学習という力

正解のラベルを入れ替えても、成績はほぼ落ちない。AIは、例から何を受け取っているのか。

手がかりは、文脈内学習という仕組みにある。

ふつうの学習は、教科書を覚え込む作業である。文脈内学習は、試験問題の冒頭の例題を見て、答え方の形をつかむ作業に近い。

文脈内学習（In Context Learning、ICL）とは、プロンプトに置いた例から、作業のやり方をつかむ能力だ。能力の持ち主は、大規模言語モデル（LLM）である。

例は、入力と出力の組で示す。学習と呼ぶ一方で、モデルの重み（内部の設定値）は元のままだ。

一回の推論が終わると、つかんだやり方は消える。次の質問では、例をまた見せる必要がある。

例の数で、呼び名が変わる。ゼロショットは例がゼロ、ワンショットは例が一つ。

フューショットは2〜8個程度。メニーショットは、数百から数千の例を入れる。

ゼロからワンへの一歩で、曖昧さは大きく減る。一つの例が運ぶのは、答えの形と、答えを選ぶ候補の枠だ。

正解そのものは、例が運ぶ荷物の一部にすぎない。

ラベルがでたらめでも性能が落ちなかった理由

実験の中身はこうだ。分類の例で、正解のラベルを入れ替える。

大きなモデルは、性能をほぼ保った。正解を崩しても、何かが成績を支えていた。

効いていたのは、三つである。答えの候補の範囲、入力の種類、全体の書式。

ラベルの正しさの効き目は、三つより小さかった。例が伝えるのは、答えより先に、何のゲームをするかである。

裏返せば、書式がばらばらの百件の正解例は、百通りのゲームを同時に説明する例になる。

担当者の例も、一件ずつ違う形だった。正しいラベルを並べながら、AIには別々のルールを見せていたことになる。

ただし、結論が当てはまる範囲は狭い。主に分類や選択式の作業だ。

ゲームのルールを、モデルがすでに知っている場面である。

社内だけで通じる分類コードのように、モデルの知識の外にある規則もある。新しい規則を教えるときは、正しい対応の例が要る。

担当者の見直しが生きるのは、まさにこの場面だ。

例を増やす前に、答えの候補、書式、指示の位置の三つを点検する

一つ目。答えの候補を、すべて一度は見せているか。

二つ目。すべての例で、書式を一字一句そろえているか。

三つ目。指示を冒頭に書き、例と区切っているか。

次の文面のかっこの中を、自分の分類に書き換えて使う。

問い合わせを、次の三つのどれかに分類してください：（例：請求／技術／その他）
入力：（例：請求書が二重に届いた） 出力：（例：請求）
入力：（例：パスワードを再設定したい） 出力：（例：技術）
入力：（例：オフィスの住所を知りたい） 出力：（例：その他）
入力：（分類したい問い合わせ） 出力：

三件の例に、三つの候補が一度ずつ出る。書式は、入力と出力の一行でそろう。

点検しても足りないとき、微調整を選ぶ目安

三つの点検を済ませても、答えが安定しないことがある。次の一手の候補が、ファインチューニング（微調整）だ。

微調整は、データを使ってモデルの重み自体を書き換える。大量のデータと訓練の費用が、先にかかる。

訓練の後は、短いプロンプトで済む場合がある。

文脈内学習は、数件の例ですぐ試せる。長いプロンプトを毎回送るため、使うたびに費用と待ち時間がかかる。

先払いか、使うたびの支払いか。二つの違いは、費用を払う時期にある。

まず、文脈内学習で試す。欠けているのは何かを見極める。

ゲームの種類の説明か、モデルの知識の外にある規則か。見極めてから、次の一手を選ぶ。

三回見直すべきだったのは、ラベルではなかった

ラベルを三回見直した手間は、無駄ではない。社内だけの規則を教える場面では、正しさが効く。

それでも、担当者が三回見直すべきだったのは、ラベルの正しさより、ばらばらの書式のほうだった。

この記事の考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の2章2節「プロンプトの基本要素」に書きました。この節を読むと、自分の例がAIに伝えているのが答えなのか形式なのかを、要素に分けて点検できるようになります。

出典

• A Survey on In-context Learning（ACL Anthology）
• Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?（ACL Anthology）
• An Explanation of In-context Learning as Implicit Bayesian Inference（arXiv）
• Solving a machine-learning mystery（MIT News）
• Best practices for prompt engineering with the OpenAI API