AIに「あとはいい感じに」と頼んではいけない：資料は10本集まり、要約はどの会社にも当てはまる一般論だった

担当者が、AIに頼んだ。「新規事業の関連資料を集めて、あとはいい感じにまとめて」。

AIは、資料を十本集めた。

返ってきた要約は、どの会社の会議にも当てはまる一般論だった。

依頼には、集める指示があった。作り変える基準は、空白だった。

十本の資料は、AIの中のどこで一般論に変わったのか。

重みを数えると、3分の2が作り変える部品に集まる

カラクリは単純だ。集める仕事と作り変える仕事は、別物である。AIの中でも、二つは別々の部品が担う。

Transformer（いまの対話AIの土台になった仕組み）の中で、作り変える部品はフィードフォワードネットワーク（FFN）だ。集める部品は、注意機構と呼ぶ。

二つの部品の重み（学習で調整する数）を、一つの層について数えてみる。

一語の数の並びを512個、FFNで広げた長さを2048個とする。

注意機構は、512×512の表が四つで、約105万。FFNは、512×2048の表が二つで、約210万。

FFNは注意機構の2倍で、層全体の約3分の2を占める。広げる長さを4倍に取る限り、2倍の比率は変わらない。

学習した知識の多くがFFNの重みにたまる、という見方もある。

2020年、研究者のGevaらは、FFNを記憶の引き出しとして読み解く論文を公開した。論文も、FFNの重みをモデル全体の約3分の2と数えている。

論文によれば、FFNの中の一つ一つの単位が、学習データの文の型に反応する。下の層は表面の型に、上の層は意味の型に反応した。

重みの量が示すのは、学習の余地をどこに多く割いたかである。

AIは、作り変える段に最も多くの重みを割いている。冒頭の依頼は、その最も大きな段に、基準を一つも渡さなかった。

FFNの正体は、一語ずつ広げて曲げて戻す計算の網

Transformerの中で、一つの語は512個ほどの数の並びで表す。FFNは、数の並びを一語ずつ受け取って作り変える計算の網（全結合のネットワーク）である。

フィードフォワードは、情報が入力から出力へ一方向に流れることを指す。FFNは、同じ網を語ごとに別々にかける。

FFN(x) ＝ W_2 · Activation(W_1 · x ＋ b_1) ＋ b_2

x は一つの語の表現で、数の並び（ベクトル）だ。一段目で、数の並びを長く広げる。

広げる長さは、512個の数なら2048個のように、4倍程度が典型である。

2017年の元の論文でも、基本のモデルは語の表現が512個、FFNの中間が2048個だった。

二段目で、ReLUやGELU（活性化関数）を通す。まっすぐな計算に、折れ目が入る。

三段目で、元の512個に戻す。

掛け算と足し算（線形変換）だけを何段重ねても、全体は一つの掛け算と足し算にまとまる。間に折れ目を挟むから、入力ごとに違う反応が生まれる。

運ぶ部品と作り変える部品は、会議の二つの時間に似ている

Transformerは、2017年にVaswaniらが提案したモデルだ。元の論文では、同じ形の層を6段重ねた。

各層は、二つの部品でできている。一つ目は、ほかの語から情報を集める自己注意機構である。二つ目が、FFNだ。

各層の動きは、会議に似ている。全員で資料を回し合った後、一人ずつ自分の机でメモを書き直す。

語の間で情報を動かすのは、注意機構だ。注意機構の計算は、集めた値の加重平均が中心である。

集めた値を作り変えるのは、FFNである。

冒頭の依頼に当てはめると、資料を回し合う時間の指示はあった。机でメモを書き直す基準は、空白だった。

いい感じに、を目的と評価基準に書き換える

依頼の話では、Transformerの分担の形だけを借りる。「関連資料を集めて、あとはいい感じに」という依頼を、集める指示と作り変える基準に分ける。

集める指示は具体的だ。

作り変える基準は、空白である。AIは、空白の基準を手持ちの一般論で埋める。

返ってくるのは、どの会社にも当てはまる要約だ。

作り変える基準は、頼む人の頭の中にある前提である。拙著『GoogleのAI NotebookLM 意思決定の強化書』では、前提を対象、目的、制約、評価基準の四つで言葉にする。

作り変える段の指示には、目的と評価基準を書く。例を挙げる。

目的は、経営会議で撤退か継続かを決める材料。評価基準は、三年後の市場シェア。

次の文面のかっこの中を、自分の依頼に書き換えて使える。

集める：（例：新規事業の市場に関する記述を、添付の資料5本から抜き出してください）
目的：（例：経営会議で、撤退か継続かを決める材料にします）
評価基準：（例：三年後の市場シェアに効く事実を優先します）
出力：（例：評価基準に効く順に、事実を5点並べてください）

集める指示の後に、作り変える基準を一文ずつ足す。手間は、二行で済む。

十本の資料を一般論に変えたもの

資料が十本でも二十本でも、作り変える基準が空白なら、行き着く先は同じ一般論だ。

十本の資料を一般論に変えたのは、空白のまま渡した作り変える基準だった。

出典

• Attention Is All You Need（Vaswani ほか、arXiv、2017年）
• Transformer Feed-Forward Layers Are Key-Value Memories（Geva ほか、arXiv、2020年）

拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章3節「前提と定義が結論を決める」に、この記事の考え方を書きました。読むと、プロンプトに目的と評価基準をどこまで書き込めば、当たり障りのない要約から抜け出せるかを確かめられるようになります。