拡散モデルは採点基準が動かないから安定し、だから学習データの平均に引き寄せられる

評価基準が四半期ごとに変わる職場で人が育ちにくいのは、何を目指せばよいかが毎回動くからです。拡散モデルの学習が安定している理由も、同じ形をしています。足したノイズを自分で知っているので、採点の基準が一度も動かないのです。この記事では、拡散モデルの学習で実際に何が行われているかを整理し、その動かない採点が安定の源であると同時に、学習データの平均へ引き寄せる力の源でもあることを示します。

学習するのは、壊す過程ではなく戻す過程だけです

拡散モデルの学習は、対になる二つの過程でできています。一つ目は前方拡散過程です。きれいな画像に、ごく小さなノイズを何段階にも分けて足していき、最後は完全なノイズにします。どの段階でどれだけ足すかは、ノイズスケジュールとして前もって決めておきます。この過程は固定されていて、学習はしません。都合のよいことに、途中のどの段階の画像も、元の画像から一度の計算で直接作れます。

二つ目は逆方向のノイズ除去過程です。学習するのはこちらだけです。モデルは、ノイズの乗った画像と、今が何段階目かを受け取り、どんなノイズが乗っているかを予測します。予測できれば、その分を引いて、少しきれいな画像に戻せます。

正解のノイズは自分で足したものなので、採点は一度も揺れません

理論の上では、学習の目標は複雑な確率の式から導かれます。しかし整理していくと、驚くほど単純な作業に行き着きます。足したノイズと、モデルが予測したノイズの差を小さくする。それだけです。具体的には、次の手順を何度も繰り返します。

正解のノイズは自分で足したものなので、いつでも分かっています。だから、普通の正解のある学習として扱えます。異なる理論の枠組み（変分推論とスコアマッチング）が、どちらもこの同じ作業に行き着くことが示され、拡散モデルの研究が一気に広がるきっかけになりました。

従来の主流だったGAN（敵対的生成ネットワーク）は、画像を作る側と見破る側を競わせて学習します。相手が強くなるたびに目標が動くので、学習が崩れやすく、限られた種類の画像しか作らなくなるモード崩壊も起きます。相手を出し抜くことで上達させる仕組みは、部署どうしに手柄を競わせて生産性を上げようとして、いつの間にか相手の足を引っぱる工夫が上達していく組織と同じ構造をしています。採点する側が動けば、上達の向きも動くからです。拡散モデルには競う相手がなく、目標が動きません。

項目	拡散モデル	GAN	VAE
学習の安定性	高い	低い	高い
画像の精細さ	非常に高い	高い	ぼやけやすい
多様性	高い	偏りやすい	高い
生成の速さ	遅い	速い	速い

部品と設定は、採点の中身を変えずに周りを変えてきました

ノイズを予測する役は、U-Netと呼ばれるネットワークが担います。画像を縮めながら何が写っているかをつかみ、元の大きさに戻しながら描き直します。縮める前の細かな情報を戻す側へ直接渡すスキップ接続があるため、輪郭や質感が失われません。今が何段階目かは、数値を変換してネットワークの各所に渡します。

ノイズスケジュールの選び方も品質を左右します。最初の研究ではノイズを一定のペースで増やしていましたが、その後、最初と最後はゆるやかに、中盤で多く足すコサインのスケジュールのほうが品質がよくなることが分かりました。信号とノイズが拮抗する中間の段階が、最も学ぶべきところだと考えられています。

その後の改良も、採点の中身はそのままに周りを変えてきました。DDIMは同じ学習済みモデルのまま生成の手順を変え、1000ステップを20〜50ステップに縮めました。Stable Diffusionの土台である潜在拡散モデルは、画像を小さな潜在空間に圧縮してから学習し、計算を大幅に軽くしました。テキストに沿わせる仕組みでは、学習のときに一定の確率で条件を空にして、条件ありとなしの両方の予測を一つのモデルに覚えさせます。

動かない採点は、学習データの平均へ引き寄せる力にもなります

採点が動かないということは、モデルが目指すものが最後まで学習データそのものだ、ということでもあります。拡散モデルは、学習データの分布をできるだけ正確に写すように採点されてきました。データに社会的な偏りがあれば、それも学び、ときには強めます。珍しい画像を正確に再現する近道として、学習データをほぼそのまま覚えてしまう例も報告されています。指が正確に5本ある手のように、データの中に暗黙にしか含まれない決まりを守らせるのも、今も難しい課題です。

使う側から見ると、モデルはよくあるものに引き寄せられます。どれだけ強く引き寄せられるかは、モデルと学習データしだいで、利用者が外から測る方法は限られています。学習データが自分の描きたい対象について十分に多様なら、引き寄せはあまり問題になりません。問題になるのは、描きたいものがデータの中で少数派のときです。

平均から離れたいなら、離れる方向を言葉で渡すしかありません

いい感じに、と頼んで平均的な絵が返ってきたら、それはAIが手を抜いたのではなく、注文どおりに働いた結果です。いい感じ、の中身を書かなければ、モデルは学んだ平均を返すように採点されてきたからです。偏りを避けたいなら、その条件を自分で言葉にして渡します。人物の属性、構図、光、避けたい要素。何を書くかで、モデルが学んだ平均から、どれだけ離れられるかが決まります。

あなたが画像生成AIに渡している指示のうち、学習データのよくある姿から離れる方向を示している言葉はいくつありますか。描きたいものは、世の中の画像の中で多数派でしょうか、少数派でしょうか。

この記事の背景にある考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の2章1節「プロンプトの重要性と設計方針」に書きました。AIは原則として無難で平均的な回答を出すように作られていて、狙い、立場、欲しいものという意図を書き込んで初めて、平均的でない自分向けの回答が返る、という話です。意図を込めることについては「これは本書で最も強調したいプロンプトのポイントです。」と書きました。この節を読むと、自分の指示のどこに意図が欠けていて、どこで平均に任せているのかを点検できるようになります。

出典

• How diffusion models work: the math from scratch（AI Summer）
• Understanding Diffusion Models: A Unified Perspective（arXiv）
• Diffusion Models: A Comprehensive Survey of Methods and Applications（arXiv）
• Tutorial 2: Diffusion models（Neuromatch Academy）
• Diffusion Model from Scratch in Pytorch（Towards Data Science）