基盤モデル、世界モデル、言語モデルは三つの種類ではなく、三つの別々の問いへの答え

基盤モデル、世界モデル、言語モデル。この三つを表に並べて違いを比べる解説はよく見かけます。けれども表に並べた時点で、三つが同じ物差しの上にある別々の種類だ、という前提が入り込みます。実際には三つは別々の問いへの答えで、一つのモデルが複数に当てはまることも珍しくありません。

この記事では、三つの言葉をそれぞれ定義したうえで、どの言葉がどんな問いに答えているのかを整理します。そこから、ChatGPTのようなチャットAIがどれに当たるのか、まだ決着していない論点は何か、呼び名の違いが頼み方にどう関わるのかを考えます。

言語モデルは、何を予測するかで決まる名前です

言語モデル（Language Model）は、自然言語処理で古くから研究されてきました。N-gramや隠れマルコフモデルから、RNNやLSTMを経て、2017年に登場したTransformerをもとにBERTやGPTが生まれ、現在の大規模言語モデル（LLM）につながっています。

言語モデルとは、テキストがどう生成されるかの確率分布を学び、それまでの語の並びから次に来る語（トークン）を予測するモデルです。BERTのように、文中の一部を隠して当てる学び方もあります。対話、要約、翻訳、コード生成など応用は広く、根拠のない内容を事実のように生成するハルシネーション、偏り、長い文脈での一貫性が課題です。

基盤モデルは、どう使われるかで決まる名前です

基盤モデル（Foundation Model）は、スタンフォード大学のHAI（Human-Centered AI研究所）の研究者たちを中心に提唱された言葉です。以前は分野ごとに個別のモデルを作るのが主流でしたが、2018年ごろから、大規模なデータで事前学習した汎用のモデルを、微調整して各分野に使う方法が広がりました。

基盤モデルとは、大規模なデータを使った自己教師あり学習などで汎用的な表現を獲得し、少ない追加学習やプロンプトで多様なタスクに転用できるモデルのことです。BERTやGPTのような大規模言語モデル、CLIPやDALL·Eのような画像と言語を扱うモデルが例に挙がります。多くのアプリケーションを載せる土台になるという意味の名前で、計算資源と電力、データの偏り、答えの理由の見えにくさが課題とされます。

世界モデルは、行動の結果を内部で試せるかで決まる名前です

世界モデル（World Model）という言葉は複数の文脈で使われますが、近年広く知られるきっかけになったのは、2018年にDavid HaとJürgen Schmidhuberが発表した論文「World Models」です。主に強化学習やエージェント設計の分野の言葉です。

世界モデルとは、エージェントが観測した外界から、環境が時間とともにどう変わるかを内部で予測し、自分が行動したら世界がどう変わるかを頭の中で試せるモデルのことです。この論文では、VAEで画面を圧縮し、MDN-RNNで時間の変化を学ぶ構成が示されました。うまくできれば、実際の環境で試さなくてもモデルの中で計画を立てられ、これを夢を見ている状態にたとえることもあります。シミュレーションと現実のずれ、内部の解釈しにくさが課題です。

三つは、同じ物差しの上に並びません

名前	答えている問い	判定の手がかり
言語モデル	何を予測するのか	テキストの次の語を予測するように学んでいるか
基盤モデル	どう使われるのか	多くの用途の土台として転用されているか
世界モデル	行動の結果を内部で試せるのか	行動に応じた環境の変化を予測し、計画に使っているか

三つを横に並べた比較表は、果物、赤いもの、甘いものの違いを比べる表に似ています。りんごはどの列にも入ります。ChatGPTのようなチャットAIは、学び方から見れば言語モデルで、使われ方から見れば基盤モデルです。

では、LLMは内部に世界モデルを持っているのか。ここは研究者の間でも見方が割れています。盤面のような世界の状態を内部で表している兆候を報告する研究がある一方、それは文章の表面の統計をなぞっているにすぎないという反論もあり、決着していません。世界モデルの考え方を取り込んだ基盤モデルが、ロボティクスや自動運転に新しい展開をもたらす、という期待も語られていますが、まだ見通しの段階です。

会議で、うちも基盤モデルを使うべきだ、と言う人と、それはもう使っている、と言う人が平行線になることがあります。これは技術の理解が違うからではなく、同じ言葉で別の問いに答えているからです。言葉の定義をそろえないまま議論を続けても、結論は永遠に出ません。

どの問いの名前かが分かると、頼み方が変わります

チャットAIが次の語を予測する言語モデルだと分かれば、渡す文脈が少ないと一般的な答えに寄ることにも、もっともらしい誤りが混じることにも納得がいきます。基盤モデルとして汎用に作られていると分かれば、こちらが何のタスクかを伝えなければならない理由も見えます。そして、世界モデルを持つかどうかが決着していない以上、自分の計画をAIに見せて、うまくいくと言われても、それは結果を内部で試した答えだとは限りません。その答えがどんな前提に立っているかを、AI自身に書き出させて確かめるほうが安全です。

あなたの職場で、AIについて同じ言葉を違う意味で使っているものはないでしょうか。その言葉を一文で定義したら、会議の誰と食い違うでしょうか。

この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章3節「前提と定義が結論を決める」に書きました。用語の定義を変えるだけで、同じ資料から出る結論が変わる、という話で、そこには「重要な用語をどう定義するかによって、AIが出す結論は180度変わります。」とあります。この節を読むと、議論がかみ合わないときに、どの言葉の定義がずれているのかを自分で探し、短く固定する手順を考えられるようになります。

出典

• Stanford HAI