ドロップアウトは過学習の薬で、効き目はデータを何周するかで変わる

ドロップアウト率は0.5が定番、Transformerなら0.1。こうした数字を設定ファイルにそのまま写す運用は、他社の就業規則を自社の名前に書き換えて使うのと同じで、前提の違いが丸ごと抜け落ちます。ドロップアウトは過学習を抑える薬で、薬の量は、モデルの大きさに対してデータをどれだけ繰り返し見るかで変わるからです。この記事では、訓練時と推論時の動き、Transformerでの使われ方を押さえたうえで、率を決める前提を整理します。

ドロップアウトは、訓練中にニューロンの一部を休ませます

パラメータの多いモデルは、訓練データのノイズや偶然のクセまで覚えてしまい、新しいデータで成績が落ちる過学習の危険を抱えています。ドロップアウト（Dropout）は、訓練の各ステップでニューロンの一部をランダムに選んで出力をゼロにし、そのステップだけ存在しないものとして扱う正則化の手法です。Hintonらのグループが提案し、2014年の論文で広く知られるようになりました。狙いは、特定のニューロンや経路に頼りきった学習をさせず、どれが休んでも答えを出せる頑丈な特徴をつかませることです。

訓練時と推論時で、動きが変わります

• ドロップアウト率 p（各ニューロンを休ませる確率）を決める
• ステップごと、ニューロンごとに、休ませるかどうかをくじ引きで決める
• 休ませるニューロンの出力をゼロにする
• 残ったニューロンの出力を、残る確率（1 − p）で割って大きくする

最後のスケーリングで、一部をゼロにしても出力の期待値がそろいます。推論時はドロップアウトを使わず、すべてのニューロンが働き、追加の調整はいりません。ステップごとに違う部分ネットワークを訓練し、推論時にそれらを束ねた平均的なモデルとして使う、アンサンブル学習の一種とも解釈できます。

GPTやBERTのようなTransformer系のモデルでは、注意の重み、フィードフォワード層の活性化後の出力、残差接続で足し合わせる前の各サブレイヤーの出力、入力の埋め込みに入ります。PyTorchの torch.nn.Dropout、TensorFlowやKerasの tf.keras.layers.Dropout は、訓練モードと評価モードの切り替えでオンとオフも切り替わります。推論の前に評価モードへ切り替え忘れると、出力が毎回ぶれます。

薬の量は、データを何周するかで変わります

過学習は、同じデータを何度も見て、その細部まで覚えてしまうことで起きます。だから、小さなデータセットを何十周もする課題では、強いドロップアウトが効きます。古典的なネットワークでよく使われた0.5は、こうした状況での値です。

逆に、モデルに比べてデータが膨大で、同じ例を何度も見ないうちに学習を終える場面では、覚えすぎる心配は小さく、ドロップアウトは学習を遅らせる副作用のほうが目立ちます。大きなモデルや大きなデータセットでは低めの率で足りることがある、と言われるのはこのためで、事前学習の段階でドロップアウトを弱めたり使わなかったりする設定も見られます。Transformerで0.1から0.3が多いのも、一つの目安にすぎません。

高すぎれば学習が進みにくく、低すぎれば過学習を抑えられない。その間のどこが最適かは、検証データでの成績を見ながら決めるしかなく、事前に計算で求める方法はありません。率を変えるスケジュールドロップアウト、まとめて落とすStructured Dropout、率を学習させるVariational Dropout、経路ごと落とすDropPathなどの発展形も、この調整の難しさから生まれています。

よく汎化されたAIは、前提を渡されなければ平均を返します

ドロップアウトが目指す汎化とは、特定の例に引きずられず、多くの場面で通用する答えを出せることです。使う側から見れば、よく汎化されたモデルほど、何も指定されなければ、多くの人に通用する平均的な答えを返します。前提を渡さないとAIは手持ちの一般的な知識で空白を埋めるので、あなたの状況、目的、制約に合った答えは、頼む側が渡す情報からしか出てきません。定番の率を写した設定ファイルと、前提を書かずに投げた質問は、どちらも自分の状況を相手に伝えていない点で同じ形をしています。

あなたが最近AIから受け取った、間違ってはいないが使えない答えには、どんな前提が欠けていたでしょうか。その前提は、あなた自身にとっては当たり前すぎて書かなかったものではありませんか。

この記事の背景にある考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の2章1節「プロンプトの重要性と設計方針」の、意図を込める話に書きました。AIは原則として無難で平均的な答えを出すように作られているので、狙いや立場や欲しいものを書き込まないと、誰にでも当てはまる両論併記に流れる、という話で、そこには「これは本書で最も強調したいプロンプトのポイントです。」とあります。この節を読むと、間違ってはいないが使えない答えが返ってきたとき、自分の依頼に欠けていた意図や前提がどれだったのかを、自分で探せるようになります。