FFNと残差接続は並んでいるのではなく本流と支流の関係にある

似た仕組みが二重にあるのは無駄ではないか。部品を一覧表に並べて重複を探す作業は業務改善の会議で好まれますが、配線を見ないまま重複を削ると、翌月に何かが止まります。一覧表は部品の名前を並べるだけで、どの部品がどの道に乗っているかを示さないからです。Transformerのエンコーダブロックで、フィードフォワードネットワーク（FFN）と残差接続、層正規化が共存しているのも、一覧で見れば重複、配線で見れば分業です。この記事では、部品ではなく配線から共存の理由を説明します。

一覧にすると、補助の仕組みが二回出てきます

• 自己注意機構: 各位置が、ほかのすべての位置とどう関係するかを計算し、情報を集める
• FFN: 各位置に個別に適用される2層の全結合ネットワークで、非線形の変換を担う
• 残差接続: サブレイヤーの出力に、そのサブレイヤーへの入力を足す
• 層正規化: 値のばらつきを整え、学習を安定させる

自己注意の後にもFFNの後にも、残差接続と層正規化が付きます。一覧で見ると同じ補助が二度登場し、FFNとも役割が重なっているように見えます。

配線で見ると、残差が本流で、FFNと注意は支流です

x → x ＋ 注意(x) → さらに ＋ FFN(…) → 次のブロックへ

入力 x は、ブロックの中を足し算の道でまっすぐ流れていきます。これが本流です。自己注意とFFNはその本流から分岐し、計算した結果を本流に足し戻します。どちらも本流を作り変えるのではなく、差分を書き足す支流です。層正規化は、合流の前後で値の大きさを整えます。

この図で見ると、残差接続は道そのもの、FFNはその道に乗る処理です。比べる対象として並べたこと自体が、重複に見えた原因でした。

支流のFFNは、書き足す中身を作ります

FFNは、自己注意で集めた情報を位置ごとに作り変えます。中間層にReLUやGELUなどの活性化関数を持つので、単純な足し算や掛け算では表せない関係を学べます。ただしFFNは勾配消失を防ぐための部品ではありません。非線形の層を増やすほどネットワークは深くなり、学習は難しくなります。表現力を足すことと、学習を難しくすることは、FFNの中で表裏です。

本流と正規化は、書き足しを何十回重ねても崩れないようにします

本流があると、誤差を逆向きに伝えるとき、勾配は足し算の道を通って入力側まで届きます。支流の計算で勾配が縮んでも、本流の分は残ります。各支流は差分だけを学べばよく、書き足すことがなければほぼ0を返せばよいので、急激な変化も起きにくくなります。層正規化は、書き足しが重なるうちに値の大きさが偏るのを防ぎ、勾配の大きさを一定の範囲に保ちます。

FFNが深さと表現力を増やし、増えた学習の難しさを本流と正規化が引き受ける。どちらか一方だけでは、深くて表現力の高いモデルは成り立ちません。重複ではなく、道と荷物の関係です。逆に言えば、層が数層しかない浅いモデルなら、本流の助けがなくても学習できることがあり、そこでは残差接続を外しても大きな差が出ない場合もあります。分業が必要になるのは、深く積むときです。

重複に見えたら、削る前に配線を描きます

業務の棚卸しで、同じ確認作業が二か所にあると指摘されることがあります。片方を削る前に描くべきなのは、それぞれの確認が何を受け取り、何を次へ渡しているかの配線です。片方は書類の中身を確かめる支流、もう片方は差し戻しの道を確保する本流、ということがあるからです。拙著『GoogleのAI NotebookLM 意思決定の強化書』では、見直すべきは人ではなく仕組みだと整理します。仕組みを見直すとは、部品の数を数えることではなく、流れを描くことです。

AIに技術を質問するときも、なぜ両方あるのか、と聞くより、情報の流れの図として説明してほしい、それぞれが何を受け取り何を渡すかを示してほしい、と頼むほうが、構造の分かる答えが返ってきます。

あなたの職場で重複だと言われている作業は、それぞれ何を受け取り、何を次へ渡しているでしょうか。片方を削ったら、何が渡らなくなりますか。

この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』のむすび「前提を言葉にすれば、結論を見直せる」に書きました。多くの組織の意思決定では結論の一言だけが残り、どんな選択肢と比べたのか、どんな条件なら見直すのかといった前提は会議が終わると消えていく、だから前提と根拠を後から見直せる形で残す、という話です。そこには「意思決定で見直すべきなのは、人ではなく仕組みです。」とあります。この節を読むと、重複に見える作業を削る前に、それがなぜそこに置かれたのかという前提が記録に残っているかを、自分で確かめられるようになります。