理解はBERT、生成はGPTという分担は、規模の拡大で崩れました

理解はBERT、生成はGPT。この分担表を今のモデル選びに使うのは、2018年の地図を持って今の街を歩くようなものです。表が比べていたのは同じくらいの規模の、課題ごとに追加学習させたモデルどうしで、その前提が規模の拡大で崩れたからです。この記事では、MLMとCLMという二つの学び方の違い、分担表が崩れた理由、それでもMLM系が選ばれる条件を順に示します。

MLMは前後から、CLMは前からだけ当てます

MLM（Masked Language Model）は、文の一部の語を「[MASK]」という記号で隠し、その語を当てさせて学ばせる方法です。「今日は[MASK]が良いです」なら「天気」を当てます。前も後ろも手がかりにできるので、双方向の学び方と呼ばれます。BERTがこの方式です。

CLM（Causal Language Model）は、それまでの語から次の語を順に当てさせる方法です。「今日は天気が」の次に「良い」を当てます。使えるのは前に出てきた語だけで、文を左から右へ一方向に読みます。書くときと同じ順番で学ぶので、そのまま文章の生成に使えます。GPTがこの方式です。

分担表は正しい比較から生まれ、前提ごと古くなりました

BERTが2018年に発表されたとき、文の分類や質問応答のような理解の課題で、当時の生成型モデルを大きく上回りました。文全体を前後から見られるMLMは理解に強く、前からしか見ないCLMは理解に弱い。代わりにCLMは生成に強く、学習のときにしか出てこない[MASK]に慣れたMLMは生成が不自然になる。こうして分担表ができました。

拙著『GoogleのAI NotebookLM 意思決定の強化書』では、意思決定を根拠、前提、結論の三層に分けます。この比較でいえば、ベンチマークの結果が根拠、同じ規模で課題ごとに追加学習させるという条件が前提、理解はMLMという分担が結論です。根拠が正しくても、前提が変われば結論は変わります。比較表は、作られた時点の前提ごと読まないと、正しい表のまま間違った結論を出します。

規模を広げると、次の語を当てるだけで理解もこなせました

2020年に発表されたGPT-3は、CLMのまま規模を大きく広げたモデルです。課題ごとの追加学習をしなくても、プロンプトの中に例をいくつか書くだけで、分類や質問応答をこなせることが示されました。

仕組みは、理解の課題を生成の形に置き直すことです。「この口コミの評価は肯定か否定か。答え:」と書けば、分類は次の一語を当てる問題になります。文全体を理解していなければ正しい次の語は当てられないので、十分な規模で次の語を学ぶことは、結果として理解を学ぶことにもなります。ただし、規模を広げるとなぜここまで理解の力が伸びるのか、その仕組みは研究でも十分には説明されていません。ChatGPTのもとになっているGPTシリーズをはじめ、広く使われている対話型のモデルの多くはCLM型です（2025年時点）。

それでもMLM系が勝つのは、量と費用の条件です

MLM系が不要になったわけではありません。BERTの系統の小さなモデルは、文書の分類や、検索のために文章をベクトルに変える処理で今も広く使われています。何百万件もの文書を速く安く処理するなら、巨大な生成モデルを毎回動かすのは割に合わないからです。この条件では、分担表に近い選び方が今も成り立ちます。

理解が要る仕事なのでBERT系を採用、と選定理由に書く資料は、選んだ理由ではなく、覚えた理由を書いています。今の選定で問うべきは理解か生成かではなく、どれだけの量を、どれだけの費用と速さで処理するかです。選定理由の欄には、件数と単価を書きます。

次の語を当てるモデルには、書き出しがすべての手がかりです

ChatGPTが前の語から次の語を当てるモデルだということは、こちらが先に書いた言葉が、その後の答えの手がかりのすべてだということです。分類をさせたいなら、答えの候補と、答えを書く場所まで示しておくと、モデルは迷わず続きを書けます。候補を示さずに分類して、と頼むと、モデルは候補そのものを手持ちの一般論で作り始めます。

あなたの業務でAIに読ませたい文書は、1日に何件あり、1件あたりいくらまでなら払えるでしょうか。その数字を書いたとき、今使っているモデルの選定理由はそのまま残るでしょうか。

この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の7章4節「意思決定のアップデート」に書きました。赤字事業の方針を決めた事例の後日談で、中期経営計画の改定によって新規事業の投資枠が縮むと、それを前提リストに反映してたどり直しただけで、採用案が継続強化から縮小統合へ入れ替わる様子を追っています。そこには「前提が動けば結論も動くことを、一連のプロンプトが実証した形です。」とあります。この節を読むと、理解が要るのでBERT系という選定理由が、いつの、どんな前提の上で正しかったのかを、自分の選定の記録で問い直せるようになります。