AIの比較表を回す前に、一行目に書いておくこと：会議の全員の目は、いちばん大きな「1750億」に集まった

モデル選びの会議で、担当者が比較表を回した。一行目には、パラメータ数が並んでいた。

参加者の目は、いちばん大きな数字に集まった。1750億。

桁が違う。会議の空気は、一行目でほぼ決まりかけた。

では、その1750億は、何を語らない数字なのか。

パラメータ数の内訳で、単語の表は2割にも0.4%にもなる

先に、一つの対比を置く。

小さなモデルでは、重みのおよそ2割を単語の表が占める。1750億のモデルでは、同じ表の取り分が0.4%足らずに縮む。

一行目の数字は、この差をまったく映さない。

カラクリは単純だ。パラメータ数は、重みの総量にすぎない。

どこに何個配ったかは、総量の外にある。

パラメータ数とは、学習で調整する重みとバイアスの総数である。比較表の1750億は、GPT-3の値だ。

出どころは、OpenAIのTom Brownらが2020年に公開した論文である。同じ論文の表に、層の数96、エンベディング次元12,288とある。

比べる相手に、Googleが2018年に公開したBERTを置く。論文によれば、基本サイズのパラメータ数は約1億1000万だ。

会社の規模を、従業員数で言うのに似ている。部署ごとの人数は、別の表で調べるしかない。

部署の人数にあたるのが、エンベディング次元と語彙サイズだ。二つは、決まり方が違う。

エンベディング次元は、一つのトークン（文章を区切った部品）を何個の数の並びで表すかだ。

次元は、設計者が決める。BERTの基本サイズでは768である。

語彙サイズは、扱うトークンの種類の数だ。GPT-3は50,257で、BERTの論文は3万と記している。

1750億の中で、単語の表が薄まる仕組み

語彙表（エンベディング層）の重みは、語彙サイズと次元の掛け算で決まる。

GPT-3では、50,257 × 12,288 で約6億2000万個。全体の0.4%足らずだ。

BERTの基本サイズでは、約3万 × 768 で約2300万個。全体のおよそ2割にあたる。

差は、増え方の違いから生まれる。語彙表は、次元に比例して増える。

トランスフォーマーの1層の重みは、およそ次元の2乗の12倍だ。全体の重みは、1層の重みに層の数を掛けた値に近い。

GPT-3では、12 × 12,288 × 12,288 × 96層で約1740億。公表値と、ほぼ一致する。

次元を大きくすると、層の重みは2乗で増える。語彙表の重みは、1乗でしか増えない。

大きなモデルほど、語彙表の取り分は薄まる。

パラメータ数が同じ小型モデルどうしでも、差は出る。語彙を大きく取ったほうは、文脈を処理する層に回る重みが減る。

配分の違いが賢さにどう効くかは、研究でも議論が続いている。

手がかりはある。OpenAIのJared Kaplanらは、2020年の論文でモデルの大きさを数え直した。

題は「Scaling Laws for Neural Language Models」。言語モデルの性能と規模の関係を調べた研究だ。

数えたのは、語彙表を除いた重みの数だ。語彙表を含めた総数で並べると、性能の傾向がぼやけたという。

除いて数えると、層の深さが違うモデルも、一本の傾向にそろった。研究者でさえ、総量の一行では比べなかったわけだ。

語彙が大きいという同じ事実を、二人の担当者が逆に読む

怖いのは、ここからだ。語彙が大きいという同じ事実を、二人の担当者が別々に読む。

Aさんは、日本語を短いトークン列で表せるから安い、と読む。

Bさんは、層に回る重みが減るから賢さが落ちる、と読む。

どちらも、表の数字を正しく読んでいる。それでも、結論は逆を向く。

違うのは、何を評価基準に置くかという前提だ。

評価基準を書かずに比較表を回すと、目立つ数字が評価基準の席に座る。

冒頭の会議では、1750億が評価基準の席に座った。誰も、その席を譲れと言わなかった。

数字を読む前に、何を重んじるかを書く

料金を重んじるのか。精度を重んじるのか。

先に言葉にする。

数字は、評価基準を書いた後に読む。

AIに問う力とは、比べる前に評価基準を言葉にする力だ。AIに比較を頼むときも、評価基準を先に渡す。

次のプロンプトのかっこの中を、自分の比較に書き換えて使える。

次のAIモデルを比べてください。
評価基準：（例：一番重く見るのは月の利用料金です。次に日本語の文章の精度です）
候補：（例：添付の比較表にある3つのモデル）
出力：（例：評価基準ごとの順位と、総合で推すモデルを一つ。推す理由を3行）

あの会議の一行目に、要ったもの

1750億は、うそをついていない。総量しか語らなかっただけだ。

あの会議の一行目に要ったのは、1750億より、何を重んじるかの一文だった。

出典

• Language Models are Few-Shot Learners（Brownほか、OpenAI、2020年）
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding（Devlinほか、Google、2018年）
• Scaling Laws for Neural Language Models（Kaplanほか、OpenAI、2020年）

この記事の考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章1節「意思決定の構造と前提の要素」に書きました。この節を読むと、パラメータ数という同じ根拠から逆の結論を出す人たちが、それぞれどんな前提を置いているのかを書き出せるようになります。