AIの答えが一般論ばかりになる人が見落としていること：会議で配った指示の見本は「来期の販促案を考えてください」の一行だった

会議で、AIの答えが話題になった。

どの答えも、どの会社にも当てはまる一般論だ、という声が続いた。

会議で配ったプロンプトの見本は、一行だった。

来期の販促案を考えてください。

AIは、なぜ誰にでも当てはまる答えを返したのか。

どの会社にも当てはまる答えは、どの会社の役にも立たない

どの会社にも当てはまる販促案は、自社の来期には使えない。会議の時間は、一般論の読み合わせで終わる。

しかも、見本の一行は配った人数の分だけ使い回される。同じ一般論が、同じ数だけ返ってくる。

行き着く先は、AIは使えない、という結論だ。

だが、AIの能力が足りなかったわけではない。足りなかったのは、別のものだった。

誰に対しても無難に、が事後学習の正体

カラクリは単純だ。空白の多い指示を、AIは教わった無難な作法で埋める。

その作法は、誰に対しても無難な形に整えてある。一般論は、AIの欠陥ではなく、教わった通りの答えだった。

AIは、事前学習と事後学習の二段で仕上がっている。冒頭の会議で使ったAIも、事後学習を経て利用者の前に出ている。

事前学習は、特定の課題に絞る前に、大量のデータで一般的な特徴を学ばせる段階だ。

事後学習とは、事前学習で作った土台のモデルを、使い道に合わせて調整する段階である。

古典的な例では、ImageNetのような大きな画像データで学んだモデルを使う。猫と犬の画像で調整すると、猫と犬の分類に使える。

文章の例には、BERTがある。2018年にDevlinらが発表したモデルで、大量の文章で事前学習を済ませている。

BERTは、出力の層を一つ足す調整だけで、11種類の言語処理の課題で当時の最高成績を出した。

土台があると、仕上げは小さなデータと短い時間で済む。

古典的な事後学習が生んだのは、決まった問いに決まった形で答えるモデルだった。

大規模言語モデルは、事後学習で何を教わるのか

大量の文章で事前学習しただけのモデルは、文章の続きを書く。質問を入れると、質問の続きを書く場面さえある。

大規模言語モデルでは、二種類の調整が加わる、と説明する資料が多い。

一つは指示チューニングである。指示と望ましい応答の組を学ばせ、指示に沿って答えるモデルに寄せる。

もう一つは、人間のフィードバックによる強化学習（RLHF）だ。複数の応答を人が比べて評価し、人の好む答え方へ寄せる。

効き目は大きい。2022年、OpenAIのOuyangらは、二つの調整を経たInstructGPTを発表した。

人による評価で、評価者は13億個のパラメータ（重み）のInstructGPTの出力を好んだ。

比べた相手は、1750億個のGPT-3の出力である。重みの数は、およそ100分の1だった。

教わるのは、どう答えるか、どこで断るか、どのくらい丁寧に書くか、という作法だ。

作法は強力である。ただし、教わるのは誰に対しても通じる作法までだ。あなたの会社の来期の事情は、作り手の二段のどこにも入っていない。

三つ目の仕上げは、利用者が書く対象、目的、制約、評価基準が担う

利用者の多くは、モデルの調整を作り手に任せる。仕上げの段階は、指示の中にもう一つ残っている。

事前学習と事後学習は、作り手が済ませる。三つ目の仕上げに使う前提は、利用者の頭の中にある。

指示に書くのは、対象、目的、制約、評価基準の四つだ。

対象は誰の、どの案件か。目的は何のためか。

制約は守る線である。評価基準は、何をもって良しとするかだ。

四つが空白なら、AIは事後学習で教わった無難な作法で空白を埋める。会議で出た一般論は、空白の埋まり方の結果である。

AIに問う力とは、四つの欄を、自分の言葉で書いて渡す力である。

次の文面のかっこの中を、自分の仕事に書き換えて使える。

対象：（例：地方の生活雑貨店の、来期の販促案）
目的：（例：30代の新しい客に、来店のきっかけを作ります）
制約：（例：予算は月10万円までです。値引きは定価の1割までにします）
評価基準：（例：新規の来店数が、前年の同じ月より増えたかで測ります）

答えに不満が出たら、AIを替える前に、プロンプトの四つの欄の空白を探す。

一行の見本を、四つの欄で書き直したら

来期の販促案を考えてください。この一行に、対象の店と予算の上限を書き足すところから始める。

会議で配った一行の見本に足りなかったのは、四つの欄である。

出典

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（Devlin ほか、arXiv、2018年）
• Training language models to follow instructions with human feedback（Ouyang ほか、OpenAI、2022年）

この記事の考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章1節「意思決定の構造と前提の要素」に書きました。この節を読むと、AIの答え方への不満を、AIが身につけた作法のせいと、渡し忘れた前提のせいとに、自分のプロンプトで切り分けられるようになります。