勾配消失の対策は二つの原理に集約できる　掛け算を1に近づけるか足し算の道を作るか

1/4の10乗、約100万分の1。シグモイド関数を使ったネットワークで10層をさかのぼると、勾配は最大でもこの大きさまで縮みます。十人を経由して現場に届いた経営方針の濃さも、だいたいこのくらいです。各段で少しずつ薄まる掛け算が、段数の分だけ重なるからです。この記事では、勾配消失問題（Vanishing Gradient Problem）の原因を確かめたうえで、ばらばらに見える対策が、実は二つの原理に集約できることを示します。

勾配は、層をさかのぼるたびに掛け算されます

ニューラルネットワークは誤差逆伝播法で学習します。出力層の誤差を入力層に向かって逆向きに伝え、損失を各重みで偏微分した勾配を求めて、重みを更新します。

このとき勾配は、層をさかのぼるたびに、その層の重みと活性化関数の導関数を掛けられます。深さ L のネットワークでは、入力に近い層の勾配は L 個の因子の積になり、因子が1より小さい状態が続けば積は指数的に縮みます。シグモイド関数の導関数は f(x)(1 − f(x)) で、最大でも1/4です。冒頭の約100万分の1は、重みの影響を除いてこれを10回掛けた値です。

重みの初期値が大きすぎると活性化関数の入力が極端になって飽和しやすく、層が深いほど掛け算の回数が増えます。勾配が消えると、学習が止まる、性能が上がらない、収束が遅い、といった形で表れ、深いネットワークの表現力を生かせません。

原理一は、掛ける数を1の近くに保つことです

対策	どの因子を1に近づけるか
ReLUとその派生形	活性化関数の導関数。正の入力では1になる
He初期化、Xavier初期化	重み。出力のばらつきが層を通っても保たれるように初期値を決める
バッチ正規化	活性化関数への入力。飽和する端に寄らないよう分布をそろえる

He初期化はReLUに、Xavier初期化はシグモイドや tanh に向くとされます。ReLUは負の入力で導関数が0になるため、出力が0のままのニューロンでは勾配が途切れることがありますが、最大1/4のシグモイドよりは縮みにくくなります。

原理二は、掛け算を通らない足し算の道を作ることです

• 残差接続（ResNet）: 出力を F(x) ＋ x とする。x の項の微分は1なので、F の側の勾配がどれだけ縮んでも、足し算の道を通る勾配は残る
• LSTM、GRU: 記憶の更新を足し算を中心にした形にし、ゲートで流れを調整する。RNNで長い依存関係を学ぶために開発された
• DenseNet: 各層を、それより前のすべての層と直接つなぎ、短い道を増やす

同じ式の裏側には勾配爆発があります。因子が1より大きい状態が続けば積は指数的に膨らみ、とくにRNNで起きやすく、勾配クリッピングが使われます。AdamやRMSpropはパラメータごとに更新幅を調整しますが、積の因子を変えるものではなく、縮んだ勾配でも一定の歩幅で動けるようにする症状への手当てです。

現場に伝わらないなら、中間ではなく経路を疑います

方針が現場に伝わらないとき、中間の誰かの伝え方を責める会議は多いものです。しかし勾配消失の式が示すのは、各段がまじめに働いていても、薄まる掛け算が十段続けば届かない、ということです。拙著『GoogleのAI NotebookLM 意思決定の強化書』の言葉で言えば、見直すべきは人ではなく仕組みです。処方も式の通り二つあります。各段で薄めない工夫（原理一）か、経営と現場を直接つなぐ足し算の道を作る工夫（原理二）です。

ただし、この類推は伝言の内容が正しい場合に限ります。方針そのものが曖昧なら、経路をいくら短くしても曖昧なまま届きます。また、ネットワークでも浅いモデルや、すでにReLUと残差接続を備えた構成では、勾配消失が主な原因でないことも多く、損失が下がらない理由は学習率やデータの側にあるかもしれません。

見分けるときは、どこで縮んでいるかを探します。各層の勾配の大きさを記録して入力側で急に小さくなっていないかを見る、活性化の分布が0や1に張りついていないかを見る、損失曲線の下がり方を見る、小さなネットワークで同じ学習を試して深さが原因かを切り分ける。縮む場所が活性化関数なら原理一、深さそのものなら原理二です。参考文献には、Heらの「Deep Residual Learning for Image Recognition」（2015年）や、GlorotとBengioの「Understanding the difficulty of training deep feedforward neural networks」（2010年）がよく挙げられます。

AIの答えが意図とずれたときも、目的、背景、返してほしい形式のどこで意図が縮んだのかを探すと、直す場所が一つに絞れます。

あなたの組織で、方針が何段を経由して現場に届いているでしょうか。そのうち、一段飛ばしの直通路を作れる箇所はどこですか。最近AIの答えがずれたとき、あなたは目的、背景、形式のどこから疑いましたか。

この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』のむすび「前提を言葉にすれば、結論を見直せる」に書きました。うまくいかなかったときに問うべきなのは、あの人の判断が悪かったのかではなく、選択肢が足りなかったのか、前提が抜けていたのか、見直しが遅れたのかだ、という話です。そこには「意思決定で見直すべきなのは、人ではなく仕組みです。」とあります。この節を読むと、方針が現場に届かなかったとき、途中の誰かを責める前に、どの経路で何が縮んだのかを自分で問えるようになります。