FFNはTransformerの脇役ではない　重みの3分の2を持つ作り変えの担い手

Transformerの主役は注意機構で、フィードフォワードネットワーク（FFN）は付け足し。この通説は、組織図だけを見て決算書を見ない経営判断に似ています。典型的な設定で重みを数えると、各層の重みのおよそ3分の2はFFNにあるからです。注意機構はトークンの間で情報を運び、運ばれた情報を別の特徴に作り変えるのはFFNです。この記事では、構造と計算の流れを押さえたうえで、FFNの仕事の大きさを数字で確かめます。

各層は、運ぶ部品と作り変える部品でできています

Transformerは、2017年にVaswaniらが提案したモデルです。エンコーダとデコーダの各層は二つのサブレイヤーでできています。

• 自己注意機構: トークンどうしの関係を計算し、ほかのトークンから情報を集める
• FFN: 各トークンに独立して適用される全結合のネットワークで、非線形の変換を行う

どちらにも残差接続と層正規化が付きます。「フィードフォワード」は、情報が入力から出力へ一方向にだけ流れ、ループやフィードバックがないことを指します。

FFNは、広げて、曲げて、戻します

FFN(x) ＝ W_2 · Activation(W_1 · x ＋ b_1) ＋ b_2

x は各トークンの表現で、次元は d_model です。一段目で、W_1 と b_1 により d_ff 次元に広げます。d_model が512なら d_ff は2048のように、4倍程度が典型です。二段目で、ReLU（max(0, x)）や、より滑らかなGELU（BERTなどで使われる）で非線形性を加えます。三段目で、W_2 と b_2 により元の d_model 次元に戻します。線形変換だけを重ねても全体は一つの線形変換のままなので、間に非線形を挟むことで、入力の領域ごとに違う反応ができるようになります。

数えると、重みの3分の2はFFNにあります

d_model を512、d_ff を2048として、一つの層の重み行列の大きさを数えます（バイアスと層正規化は小さいので省きます）。

部品	重み行列	要素の数
自己注意機構	W_Q、W_K、W_V、W_O（各512 × 512）	約105万
FFN	W_1（512 × 2048）、W_2（2048 × 512）	約210万

FFNは注意機構のちょうど2倍で、層全体の約3分の2です。d_ff を d_model の4倍に取る限り、この比率は d_model によらず変わりません。ただし、これは重みの量の話です。d_ff の取り方が違う設計や、注意側に追加の仕組みを持つ設計では比率は変わりますし、重みが多いことは、その部品が性能に効いていることの証明にはなりません。量が示すのは、どこに学習の余地が多く割かれているか、までです。

FFNは間を見ず、注意は作り変えません

FFNは各トークンに同じネットワークを独立に適用する「位置ごとのフィードフォワードネットワーク」で、並列に計算でき、文の長さが変わってもパラメータは増えません。そしてFFNはほかのトークンを一切見ません。トークンの間で情報を動かせるのは注意機構だけです。逆に注意機構の計算はバリューの加重平均とその前後の線形変換が中心で、集めた情報を作り変える力はFFNに比べて限られます。学習した知識の多くがFFNの重みに蓄えられている、とみる見方があるのも、この分担と重みの量から自然に出てきます。ただ、知識が重みのどこにどう蓄えられているかは研究でも決着しておらず、FFNを読めば知識が取り出せる、と言える段階ではありません。

資料を集めて、あとはいい感じに、は半分しか頼んでいません

AIへの依頼で多いのが、関連資料を集めて、あとはいい感じにまとめて、という形です。これはTransformerで言えば、注意機構に仕事を出してFFNに何も言っていない状態です。集める指示は具体的なのに、何を基準に作り変えるかが空白なので、AIは手持ちの一般論でその空白を埋め、当たり障りのない要約が返ってきます。拙著『GoogleのAI NotebookLM 意思決定の強化書』では、前提を対象、目的、制約、評価基準の四つで言葉にします。作り変える段の指示には、少なくとも目的と評価基準を書きます。たとえば、経営会議で撤退か継続かを決める材料にする、判断の基準は三年後の市場シェア、のようにです。

あなたが最近AIに頼んだ仕事で、集める指示と作り変える指示の長さはどれくらい違ったでしょうか。作り変える側の指示に、評価基準は入っていましたか。

この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章3節「前提と定義が結論を決める」に書きました。知育玩具のEC展開を例に、市場レポートだけを渡すと知育玩具とは何かという一般論が返り、売上の目標、予算、実店舗がないことといった前提リストを加えると、販路ごとの具体策が返る、という違いを並べています。そこには「意思決定の質は、費やした時間ではなく、前提をどこまで具体化できたかで決まります。」とあります。この節を読むと、集めた材料を作り変える段の指示に、目的と評価基準をどこまで書き込めば当たり障りのない要約から抜け出せるかを、自分の依頼で確かめられるようになります。