スケール則の最適な配分は、前提が変わるたびに書き換えられてきました

スケール則は、AIの性能が規模、データ量、計算量でどう伸びるかを示す経験則で、法則という名前のせいで、一度決まったら動かない真理のように扱われがちです。ところが、その法則から導かれる最適な資源の配分は、この数年で少なくとも二度、書き換えられてきました。この記事では、スケール則の中身を確かめたうえで、配分が変わった理由が法則の誤りではなく、何を最適にするかという前提の変化だったことを示し、自社の判断にどう使うかを考えます。

スケール則は、三つの量と損失の関係を示す経験則です

スケール則は、深層学習のモデルの性能が、モデルの規模（パラメータ数 N）、学習データの量（D）、学習に投じる計算量（C）にどう依存するかを定量的に示します。性能は多くの場合、損失関数の値、つまり予測の外れ具合で測ります。

2020年にOpenAIの研究者らが発表した論文「Scaling Laws for Neural Language Models」（Kaplanら）は、言語モデルの損失が三つの量の増加に対して、べき乗則と呼ばれる滑らかな曲線に沿って下がることを示しました。考え方の源流は、システムの大きさが変わったときの振る舞いを調べる物理学や統計学のスケーリング理論にあります。

三つの軸は単独では効きません。パラメータを増やしても、データと計算が足りなければ力を引き出せない。データを増やしても、ノイズや重複が多ければ効率が落ちる。計算を増やせば、費用と電力がついてくる。

最初の答えは、モデルを大きくせよ、でした

Kaplanらの分析から当時読み取られたのは、計算の予算が限られているなら、データを増やすよりモデルを大きくするほうに多く配るのが得だ、という配分でした。この見通しは、その後の大規模言語モデル開発で、パラメータ数を競って大型化する流れを後押ししました。

パラメータ数が発表資料の一行目に来る時代が、こうして始まります。数字が大きいほど偉いという分かりやすさは、会議の資料映えには最高でしたが、後で見るとおり、配分としては最適ではありませんでした。計算の予算が決まっている以上、パラメータに配った分だけ、データを読ませる計算が削られるからです。

二度目の答えは、データも同じ割合で増やせ、でした

2022年、DeepMindの研究者らは、計算量を固定したときの最適な配分を測り直し、モデルの規模と学習データの量はほぼ同じ割合で増やすべきだと報告しました。この方針で学習させたChinchillaは、同じ計算量で学習させた、はるかに大きいGopherを上回りました。それまでの大型モデルの多くは、規模に対してデータが足りていなかった、という見直しです。

ここで大事なのは、べき乗則そのものが嘘だったわけではないことです。変わったのは、学習の設定と測り方、つまり法則を当てはめるときの前提でした。同じ曲線を見ても、何をそろえて比べたかが違えば、導かれる配分は変わります。

三度目の答えは、小さいモデルに長く学ばせよ、でした

Chinchillaの配分は、学習にかかる計算量を最小にするための答えです。しかし実際にモデルを使う側から見ると、費用は学習の一回で終わりません。利用者が質問するたびに推論の計算がかかり、その総額は利用が増えるほど膨らみます。

そこで、学習の段階では最適より多くの計算を払ってでも、モデルを小さく保ち、データを多く読ませる方針が広がりました。Llama 2のように、比較的小さいモデルを大量のデータで学習させて公開する例は、その代表です。最適化の対象が学習の費用から、学習と推論を合わせた費用に移ったことで、答えがまた変わったのです。

時期	何を最小にしたか	導かれた配分
2020年ごろ	与えられた計算量での損失	モデルを大きくする方に多く配る
2022年ごろ	同上を、設定を改めて測り直す	規模とデータを同じ割合で増やす
その後	学習と推論を合わせた費用	小さいモデルに多くのデータを読ませる

自社の判断では、法則より先に最適化の対象を書きます

この経緯から分かるのは、スケール則が答えを出すのは、何を最小にし何を固定するかを決めた後だということです。拙著では、意思決定を根拠、前提、結論の三層に分けます。スケール則は根拠にあたり、前提を当てて初めて、どのモデルを採るか、どこまで投資するかという結論になります。

自社でモデルを選ぶ、あるいは独自に学習させるかを決めるなら、まず次を書きます。何をする用途か（対象）。精度を上げたいのか費用を下げたいのか（目的）。予算、応答速度、データを外に出せるか（制約）。何がどこまで届けば十分とするか（評価基準）。最新の大型モデルを入れれば何とかなる、という稟議は、パラメータ数の時代の配分を、推論の請求書が届く時代に持ち込んでいるだけかもしれません。大きいモデルほど一回の推論が高くつき、使うほど費用が積み上がるからです。稟議には、月の利用回数と一回あたりの費用の見込みを一行足します。

反対に、最新の大型モデルを選ぶのが筋の通る場合もあります。利用回数が少なく、一回の誤りの損害が大きい用途なら、推論の費用より精度が評価基準の上に来ます。どちらが正しいかは、法則ではなく、自社の評価基準の並び順で決まります。

限界も残ります。スケール則は量の法則で、データの質や多様性は別に担保しなければなりません。規模が大きくなるほど、計算資源とエネルギーの負担、バイアスや不適切な出力への対処も重くなります。損失が下がっても、自社の仕事の成果が同じ割合で上がる保証もありません。

配分の答えがこの先もう一度書き換わるのかどうかも、今の時点では分かりません。何を最適にするのかという問いそのものが、まだ動き続けているからです。

あなたの組織がAIのモデルを選ぶとき、最小にしようとしているのは、導入の費用、毎月の利用の費用、誤りが出たときの損害のどれでしょうか。その順番は、誰がいつ決めたものでしょうか。

この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の7章4節「意思決定のアップデート」に書きました。一度出した結論を、月次の実績や中期経営計画の改定という新しい材料で前提から見直し、投資枠の縮小を反映すると採用案が入れ替わる事例を追った節で、「前提が動けば結論も動くことを、一連のプロンプトが実証した形です。」と書いています。この節を読むと、技術の見通しが書き換わったとき、自社の判断のどの前提が動き、どの結論を組み直すべきかを、自分で指させるようになります。