正規化はデータ、正則化は重み、という線引きはニューラルネットの中では崩れる

正則化は重み、正規化はデータ。この覚え方は試験には通りますが、ニューラルネットワークの中に入った途端に通用しなくなります。暗記用の対比表は、会議用の両論併記と同じく、境目の事例が来た瞬間に役目を終えます。表の欄は代表例から作られるので、代表例から外れたものの置き場所を持たないからです。この記事では、定番の線引きを確かめたうえで、それがどこで崩れるかを示し、崩れない区別として、何を防ぎたいかという目的で分ける方法を提案します。

定番の線引きは、表の上ではきれいに分かれます

正則化（Regularization）は、モデルの複雑さを抑えて過学習を防ぐ手法です。過学習とは、訓練データに合わせすぎて、新しいデータで成績が落ちる現象です。損失関数に重みの大きさに応じたペナルティを加えます。

• L1正則化（ラッソ）: 損失 ＝ 誤差 ＋ λ × Σ|w|。一部の重みがゼロになり、特徴量を選ぶ効果がある
• L2正則化（リッジ）: 損失 ＝ 誤差 ＋ λ × Σw²。重みを小さく抑え、相関の強い特徴量でも重みを安定させる
• Elastic Net: L1とL2の組み合わせ
• ドロップアウト: 訓練中にランダムにニューロンを無効化する

λのようなハイパーパラメータが強すぎると未学習を招くので、交差検証で値を探します。

正規化（Normalization）は、データのスケールや分布を整えることです。最小最大正規化は値を0から1に収め、標準化は平均0、標準偏差1にそろえます。外れ値に強いロバストスケーリング、ベクトルの長さを1にする単位ベクトル化もあります。年収と年齢のように桁の違う特徴量を、k近傍法やサポートベクターマシンのような距離で判断する手法に入れるときに効きます。統計量は訓練データだけから計算し、テストデータの情報が訓練に漏れるデータリークを防ぎます。

ここまでなら、正則化は重みに訓練中、正規化はデータに前処理で、と表に書けます。

バッチ正規化と層正規化は、モデルの中で訓練中に働く正規化です

ニューラルネットワークでは、正規化がモデルの内部に入り込みます。バッチ正規化は、各層への入力を、ミニバッチごとの平均と分散で訓練中にそろえます。層正規化は、一つのサンプルの中で値をそろえ、Transformerの各ブロックで使われています。どちらも、そろえた後に掛ける倍率とずらす量を、重みと同じく学習で決めるパラメータとして持っています。

対象はデータではなく層の中の値、時期は前処理ではなく訓練中、しかも学習するパラメータを持つ。定番の表の、対象と時期の欄が両方とも外れます。

しかもバッチ正規化には、正則化に似た効果まであります

バッチ正規化は、ミニバッチごとに統計量が少しずつ変わるので、学習に小さな揺らぎが入ります。この揺らぎが正則化に似た効果を持ち、ドロップアウトを減らしても過学習が抑えられる場合があることが、提案論文の段階から報告されています。

正則化と正規化の違いを表で答えられる人ほど、この話を聞いて表の欄を探して手が止まります。表が、手法の名前と働きを一対一に結びつけていて、一つの手法が二つの働きを持つ場合を想定していないからです。処方は、手法の名前ではなく、何を防ぎたいかから引ける表に作り替えることです。

崩れない区別は、何を防ぎたいかという目的です

見えている症状	防ぎたいこと	主に使う手法
訓練の成績は良いが、検証の成績が悪い	過学習	L1、L2、ドロップアウト、データの追加。バッチ正規化が副次的に効くこともある
学習が収束しない、損失が暴れる	学習の不安定	入力の標準化、バッチ正規化、層正規化、学習率の調整
桁の大きい特徴量に結果が引きずられる	特徴量の偏り	入力の最小最大正規化、標準化、ロバストスケーリング

前提を言葉にするときは、言葉の意味を短く固定し、目的を先に書きます。目的が欠けた決定は迷走します。手法の名前から入ると、名前の似た二つを取り違えますが、症状と目的から入れば、名前が似ていても迷いません。

この表にも限界はあります。線形回帰やロジスティック回帰のように、正規化がモデルの内部に入らない手法では、定番の表のほうが簡潔で、目的から引く表は回り道になります。対象がニューラルネットワークかどうかで、どちらの表が役に立つかが変わります。また、バッチ正規化がなぜ学習を安定させるのかについては、提案時の説明に異論も出ており、仕組みの説明は今も決着していません。

AIに聞くときも、言葉より目的を渡します

「正規化について教えて」とだけ聞くと、データベース設計の正規化や数学の話が返ってくることがあります。原語と文脈を添えるのは基本ですが、それより効くのは、困っている症状と防ぎたいことを書くことです。「訓練の損失は下がるが検証の損失が上がる。原因と対処を、正則化と正規化の区別も含めて表にして」と頼めば、用語の定義ではなく、判断の材料が返ってきます。

あなたのモデルでいま起きている問題は、過学習、学習の不安定、特徴量の偏りのどれでしょうか。手法の名前を選ぶ前に、それを一行で書けるでしょうか。

この記事の背景にある考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の2章1節「プロンプトの重要性と設計方針」に書きました。AIはプロンプトをトークンに分けて数値の並びに変え、それを手がかりに答えを探すので、いちごよりとちおとめのように具体的に書くほど探す範囲が絞られ、あいまいなプロンプトは範囲を広げて不正確な答えを生む、と説明した節です。そこには「聞きたいことを細かく言語化することで、AIは的確な回答を生成できます。」とあります。この節を読むと、用語の名前だけで聞きたくなったとき、いま起きている症状と防ぎたいことを書き足せばAIの探す範囲がどこまで絞れるのかを、自分で考えられるようになります。