基盤モデルと世界モデルと言語モデルの違い

以下では「基盤モデル（foundation model）」「世界モデル（world model）」「言語モデル（language model）」という3つの概念について解説します。

1. 基盤モデル（Foundation Model）とは

1.1 基盤モデルの背景・定義

背景
「基盤モデル（foundation model）」という言葉は、スタンフォード大学のInstitute for Human-Centered AI（HAI）の研究者たちを中心に提唱されました。自然言語処理(NLP)やコンピュータビジョン、音声処理など、従来は個別領域ごとに最適化されたAIモデルを作るアプローチが主流でした。ところが2018年頃から、事前学習(pre-training) を活用し、大規模コーパスを学習した上で、そこから微調整(fine-tuning)することで各領域に適用できる巨大な汎用モデルが急速に注目を集めました。例えば BERT や GPT のような大規模言語モデル、CLIP や DALL·E のような画像と言語のマルチモーダルモデル、あるいは音声認識・音声合成に使われる巨大モデルなどが例として挙げられます。これらはいずれも**「まずは大規模なデータで学習して汎用的な表現を獲得し、その後にタスク固有のデータで微調整し、高い性能を実現する」**という共通点を持ちます。
定義（スタンフォード HAI の論文より）
基盤モデルとは、「大規模データを使った自己教師あり学習や教師なし学習によって獲得した、汎用的かつ強力な表現を備えるAIモデルのこと。多様な下流タスクに少量の追加学習（微調整）で適用できる。」という特徴を持ちます。特に研究コミュニティの中では、
- 「大量のデータを事前学習することで事実上の共通基盤（foundation）を作り、その上にさまざまなAIアプリケーションを構築していく」
- 「言語処理、画像処理、音声処理など、複数のモダリティを横断して活用する土台になり得る」といった点で「foundation」の呼称が使われています。

1.2 基盤モデルの技術的特徴

巨大パラメータ数
GPT-3 のように数百億〜数千億パラメータを持つモデルも登場し、さらには GPT-4 のように兆単位のパラメータを持つと噂されるものまで出始めています。これだけ大規模になると、データそのものだけでなく、モデル内部が表現できる知識やパターンも非常にリッチになります。
自己教師あり学習 / 教師なし学習
ラベル付けが大変な大規模データを、ラベルなしでも学習できるように工夫された学習パラダイム(例: Next Token PredictionやMasked Language Modeling)。これがモデルを効率的に巨大化させる大きな原動力となりました。
微調整 / プロンプトエンジニアリング
一度事前学習された基盤モデルに対して、より少ないリソース（少量データや追加の数ステップの学習）でタスクを最適化できます。また、近年は「プロンプトエンジニアリング」でタスクを与えるだけで、モデル側のパラメータ更新なしに優秀な性能を発揮するなど、新しい使い方も活発です。
マルチモーダル化
文字通り「画像と言語」「音声と言語」「動画と言語」などをつなぐモデルが研究されており、基盤モデルの概念は自然言語を超えて視覚や聴覚情報にも拡張されています。OpenAI の CLIP, DALL·E, また Google DeepMind（旧DeepMindやGoogle Brain）が公開している「Flamingo」や「Imagen」などが有名です。

1.3 基盤モデルの社会的意義と課題

社会的意義
- ソフトウェア開発の高速化・高効率化: 汎用的に使えるモデルをうまく活用することで、個別のソフトウェアを書くコストが削減される可能性があります。
- イノベーション促進: 言語以外の分野（ロボティクス、バイオインフォマティクス、金融など）にも展開され、基盤モデルが多様な分野の研究開発を加速させています。
- ビジネスへの影響: ChatGPTなどの商用ツールをはじめとして、デジタルサービス全般に大きなインパクトを与えています。
課題
- 膨大な計算資源とデータ: 学習に必要な計算量・電力コストは莫大で、研究資金や環境負荷の面で持続可能かという課題があります。
- バイアス・社会的影響: 大規模データゆえに、差別的表現・誤情報が含まれる可能性も高く、社会実装に際してはコンプライアンスやエシカルな視点が不可欠です。
- 解釈性・透明性: なぜその答えになるのかなど、モデルの内在的メカニズムを必ずしも理解できない「ブラックボックス問題」がより深刻になります。

2. 世界モデル（World Model）とは

2.1 世界モデルの背景・定義

背景
「世界モデル（World Model）」という用語は複数の文脈で使われますが、近年特に有名になったのは、2018年に David Ha (Google Brain) と Jürgen Schmidhuber (IDSIA) らが発表した論文「World Models (Ha & Schmidhuber, 2018)」で提唱された概念です。
強化学習(RL: Reinforcement Learning)やエージェント設計において、エージェントが環境（＝世界）をどのように内部表現として理解するのか、あるいは環境をどのように予測・生成できるのかを指す場合に使われることが多いです。
定義
Ha & Schmidhuber の定義に準拠すると、 世界モデルとは、エージェントが観測する外界(センサー入力)から、環境の動態(時間的変化)を内部で模倣・予測・生成し得るモデルのこと。 ここでキーポイントとなるのは、「自分(エージェント)が観測していない状態の変化も含めて、内部的に世界全体をシミュレーションする能力」を備えている、という点です。

2.2 世界モデルの技術的特徴

内部表現(潜在空間)での環境の抽象化
「World Models」論文では、VAE(Variational Autoencoder)等を用いて観測データを潰して低次元潜在表現に変換し、その上でRNN(特にMDN-RNN: Mixture Density Network + RNN)を使って動的変化を学習し、さらにエージェントがどのような行動をとったら環境がどう変わるかを予測し続けます。
これにより、視覚的に複雑な画面(たとえばゲーム画面)も低次元の圧縮表現で扱えるようになります。
仮想環境内でのプランニング
世界モデルがしっかり獲得できれば、実際の環境で試行錯誤することなく、「モデル内部でシミュレーションして方策を計画する」ことが可能になります。これはモデルベース強化学習(model-based RL)の核となる考え方です。
夢(Vision / Hallucination)のような生成
Ha & Schmidhuber の論文タイトル中にも”generative”という言葉が出てきますが、世界モデルの一つの到達点は「自分自身で見たことのある・無い環境を含め、予測的に再生産(生成)する」ことです。これを「夢を見ている」状態に例えることがあります。
(狭義の)世界モデル vs (広義の)世界モデル
- 狭義には、強化学習分野で「エージェントが環境を内部モデル化している」ことを指す。
- 広義には、人間が持っているような「知覚や行動、推論、常識知識などが結合した総合的な世界理解」を指す場合もあります。
- 後者の場合、「言語理解と物理環境理解を統合したい」「ロボットなどに現実世界の諸条件を把握させたい」という領域まで含まれるので、より幅広い概念になります。

2.3 世界モデルの応用例と課題

応用例
- 強化学習エージェント: 仮想環境（ゲームやロボットシミュレータ）での方策学習に活かされ、実機実験の回数を減らしつつ高性能なエージェントを開発する試み。
- プランニング: 自動運転における将来予測モデルやシミュレーションでのリスク評価に使う研究も進んでいます。
- 創発的知能: 内部の世界モデルを複雑にすることで、ある種の「抽象的思考」や「創発的推論」が実現可能かもしれない、という仮説を検証する試み。
課題
- スケーラビリティと汎用性: 現実世界はゲーム画面に比べて情報量が膨大で、単純なVAE+RNNでは対応しきれない部分も多い。今後は大規模な生成モデルやグラフニューラルネットワークなどを活用する方向が考えられています。
- 安全性と信頼性: シミュレーションが正しくないと、エージェントが学習した方策が実世界ではまったく通用しないなど、モデルの「再現性」が大きな問題になります。
- 解釈性: 内部で保持している世界モデルがどのような構造を持っているか、人間には把握しづらい、という問題が依然として残ります。

3. 言語モデル（Language Model）とは

3.1 言語モデルの歴史・定義

歴史
自然言語処理の分野では「言語モデル」は非常に古くから研究されています。古典的にはN-gramモデル、Hidden Markov Model (HMM)などが使われ、次にニューラルネットワークを導入した RNN/LSTM ベースの言語モデルに発展しました。さらに “自己注意機構(Self-Attention)” を活用するTransformer (Vaswani et al., 2017) を使ったモデルが登場し、BERT (2018), GPT (2018-19) などが生まれ、現在の大規模言語モデル(LLM)ブームに至ります。
定義言語モデルとは、文章や会話などのテキストがどのように生成されるか、その確率分布を学習するモデル。次に来る単語やトークンの予測が主目的となる。たとえば確率 P(wordt∣word1,…,wordt−1)P(\text{word}_t \mid \text{word}_{1}, \dots, \text{word}_{t-1}) を学習し、文章を一語一語生成できるようにする、というのが典型的な定義です。

3.2 言語モデルの技術的特徴

次単語予測(Next Token Prediction)
多くの言語モデルは「次に現れる単語やトークンは何か？」を当てるタスクで事前学習されます。自己教師あり学習の一種であり、大量のテキストコーパスを用いて学習が可能です。
マスク化言語モデル(Masked Language Modeling)
BERTのように、文中の一部を[Mask]で置き換えて正解を当てるという形の学習手法もあります。これにより双方向文脈を学習可能となり、下流タスクへの応用力が高まります。
大規模データ＋大規模計算
GPT-3などは数千億単語以上のデータを学習することで、言語的知識のみならず、百科事典的な知識や推論能力を獲得しつつあります。
モデルサイズの拡大と性能向上
パラメータが大きくなるにつれて言語モデルが「文脈を深く理解する能力」をある程度獲得し、「推論的なタスク」や「生成タスク」へも適応可能となっています。
しかし、モデルのサイズが大きくなるにつれ、巨大な計算資源やファインチューニング・推論の効率化などの課題も増しています。

3.3 言語モデルの応用例と課題

応用例
- チャットボット・アシスタント: ChatGPT, Google Bardなどのように質問応答・対話システムの中核として利用。
- 文章生成・要約: ブログ記事の自動生成、ニュースや論文の要約、自動翻訳など。
- プログラム生成: GitHub Copilotのようにソースコードを提案・自動生成。
- コンテンツクリエイション: 物語創作、広告コピー、SNS投稿の自動化など、多様なテキスト制作支援。
課題
- 幻覚(hallucination): 根拠不十分な情報をあたかも事実のように生成してしまう問題。
- バイアス: 大規模データに含まれる人種的・性差的バイアスなどを学習してしまう。
- 長文・一貫性: 長い文章の文脈を正しく把握できなくなる問題や、一貫性を保つことが難しいケースがまだ存在する。
- 倫理的観点: 個人情報流出や著作権侵害リスク、フェイクニュース生成等の悪用リスク。

4. 三者の違いを整理する

ここまでの説明をまとめ、**「基盤モデル」「世界モデル」「言語モデル」**の違いを以下の観点から整理します。

目的・カバー範囲
- 基盤モデル（foundation model）
  - 自然言語、画像、音声など多モダリティにわたり、汎用的に使われる巨大モデルを指す。
  - “幅広い領域での基盤” となることが目的。
- 世界モデル（world model）
  - 強化学習における環境理解やエージェントの内部表現 を作り、予測・シミュレーションができることを重視。
  - 実世界(もしくは仮想環境)の動き・因果関係を取り込んだモデル。
- 言語モデル（language model）
  - 自然言語テキストにおける単語や文脈の出現確率を捉え、文章生成・理解に用いられるモデル。
  - テキスト処理に特化している。
学習データ・入力形態
- 基盤モデル:
  - 巨大なテキストコーパス、画像データ、あるいは音声・動画など多モダリティを対象とし得る。
  - 自己教師あり学習が多い。
- 世界モデル:
  - エージェントが観測するセンサー情報（ビデオフレーム、位置情報、速度など）。
  - 強化学習での報酬・行動・状態遷移データを取り込み、内部で環境をモデリング。
- 言語モデル:
  - 主にテキストデータ(ウェブコーパス、書籍、Wikipediaなど)。
  - 大量の文章の連続性や確率分布を学習。
推論プロセス・応用方法
- 基盤モデル:
  - 下流タスクへの転移学習(fine-tuning) またはプロンプトエンジニアリングを経て、多様なタスクに適応。
  - 画像キャプション、翻訳、QA、コード生成など幅広い応用先が存在。
- 世界モデル:
  - 内部で環境をシミュレートし、仮想実験を行いながらエージェントの行動を最適化するために用いられる。
  - 強化学習やプランニングアルゴリズムと組み合わせて、探索コストを削減。
- 言語モデル:
  - テキスト生成やテキスト分類、文書要約、機械翻訳、QAなどに活用。
  - 直接的に「世界の物理モデル」までを扱うわけではないが、大規模になると因果推論の一部のようなものを疑似的に扱える場合もある。
内部構造・仕組み
- 基盤モデル:
  - 多層TransformerやVAE、Diffusionモデルなど多様なアーキテクチャが使われ、パラメータ数が極めて大きい。
  - クラウドや分散学習インフラを用いて数週〜数ヶ月単位の学習。
- 世界モデル:
  - 潜在空間を使った生成モデル(RNN, VAE, MDN-RNN, Transformer)や、物理法則を捉えたシミュレーションエンジンと連動する場合もある。
- 言語モデル:
  - 主にTransformerベース（GPT系やBERT系）が主流。
  - 単語埋め込み、自己注意、位置エンコーディングなどが核心技術。
直面する研究課題
- 基盤モデル:
  - 計算資源コスト・環境負荷、バイアスや倫理問題、モデルの解釈性・安全性。
- 世界モデル:
  - スケールアップの難しさ、現実世界とのギャップ、モデルベース強化学習の安全性と効率化。
- 言語モデル:
  - 幻覚(hallucination)問題、バイアス、長文コンテキスト保持、知識アップデート、倫理・フェイクニュース対策。

「基盤モデル（Foundation Model）」「世界モデル（World Model）」「言語モデル（Language Model）」の主な特徴や違いの一覧表

以下に、「基盤モデル（Foundation Model）」「世界モデル（World Model）」「言語モデル（Language Model）」の主な特徴や違いを一覧表の形式でまとめます。参考にしてください。

項目	基盤モデル (Foundation Model)	世界モデル (World Model)	言語モデル (Language Model)
主目的	– 多モダリティ（言語・画像・音声など）にわたる汎用的モデル- 下流タスクへの転移学習やプロンプトで多用途に活用	– 強化学習やエージェント設計において「環境を内部に再現・予測」する- エージェントが行動を選択するための“世界”のシミュレーション	– 次に来る単語やトークンを予測する- テキスト生成・文章理解などNLPタスクで利用
中心となる技術・構造	– Transformer (大規模)- VAE, Diffusionモデルなども含む- マルチモーダル対応を志向	– VAE + RNN(MDN-RNN)などを用いた潜在空間の学習- 内部的な環境状態遷移をシミュレーション- 強化学習 (model-based RL) と組み合わせるケースが多い	– Transformer (GPT系、BERT系)- RNN, LSTM, N-gramなど伝統的手法も含む
学習データの種類	– テキスト、画像、音声など多種多様- 大規模（数百億～兆単位のパラメータ）	– エージェントの観測データ（画像、センサー情報、行動と報酬の履歴）- 実世界またはシミュレータ上の時系列データ	– テキスト主体（ウェブコーパス、書籍、SNS、Wikipediaなど）- 大規模テキストデータ
学習パラダイム	– 自己教師あり学習 (例: next token prediction, masked modeling)- 微調整 (fine-tuning)、プロンプトベース	– 強化学習＋生成モデル- 環境モデル（予測モデル）とポリシー学習を組み合わせる	– 自己教師あり学習 (主に次単語予測、マスク化言語モデル)- 大規模事前学習+少量データで微調整
用途・適用範囲	– マルチモーダルAI全般- 下流タスク(翻訳、画像認識、QA、コード生成など) への転移	– エージェントが内部で世界をシミュレーションして、行動プランニングを行う- ロボット制御、自動運転、ゲームAIなど	– NLPタスク全般 (文章生成、要約、翻訳、QA、チャットボット、コード生成など)
代表的な例	– GPT-4, PaLM, DALL·E, CLIP, Flamingo など- スタンフォード HAIが提唱した概念	– Ha & Schmidhuber (2018) 「World Models」- 強化学習のモデルベース手法 (AlphaZero系列、Dreamerなど)	– GPT-3, GPT-4, BERT, RoBERTa, LLaMAなど
利点	– 多用途に転用可能- 大量データで学習した汎用表現を活用できる- マルチモーダル対応の発展性	– 環境を実際に試すことなく内部シミュレーションで学習効率アップ- 行動計画の柔軟性- 強化学習におけるサンプル効率向上	– 優秀な文章生成能力- 文章要約・回答・コード提案など多彩なNLP機能- テキストデータのみで大量学習が可能
課題・懸念	– 莫大な計算リソースと環境負荷- バイアスや倫理面のリスク- ブラックボックス性・解釈困難	– スケールアップの難しさ (リアル環境はより複雑)- シミュレーションと実環境のギャップ- モデルが正しく世界を再現できないと危険	– 幻覚（hallucination）問題- バイアスやフェイクニュース生成のリスク- 長文文脈の理解や一貫性保持の課題
位置づけ・関係	– 大規模学習された“土台”として各タスクに適用- 言語モデルも基盤モデルの一部となり得る	– 強化学習文脈での「環境理解・内部シミュレーション」のためのモデル- 基盤モデルや言語モデルと統合し、より汎用的な世界理解を志向する流れもある	– テキスト領域に特化した確率モデル- 基盤モデル化（LLM）されることが多い

補足説明:
- 「言語モデル」は、従来からあるNLPの中心的なモデル概念で、テキストにフォーカスした確率的なモデルです。
- 「基盤モデル」は、これをさらに大規模・汎用化して、言語以外の画像や音声などを含む「すべてのAIタスクの土台」にしようという考え方です。
- 「世界モデル」は強化学習における「環境理解・予測モデル」を指し、エージェントが環境内での因果関係や未来の状態をシミュレーションできるようにする概念です。

この表を参考にしていただくと、それぞれのモデルの目的や得意分野・課題がより明確に把握できるはずです。

5. まとめ

「基盤モデル」 は、大規模で汎用的な事前学習モデルを指す概念であり、様々な下流タスクの“土台”として機能するもの。自然言語処理、画像処理、音声処理など領域をまたいで「何にでも使える」特徴を持つ。
「世界モデル」 は、（特に強化学習文脈で）エージェントが環境を内部に取り込んで再現・予測するためのモデル。エージェントの視点から見て「自分が行動をとると世界はどう変わるのか」を学習し、内部シミュレーションを通じて計画・予測ができる。
「言語モデル」 は、自然言語のテキスト上での「文脈・意味・文法・単語の出現確率」などを学習するためのモデル。NLPタスク全般で利用されるが、基本的にはテキスト情報に特化している。

最後に

基盤モデル と 言語モデル はしばしば「大規模言語モデル (LLM)」として混同して語られることがありますが、厳密には「言語モデルに限らず画像・音声までカバーし得るもの」が基盤モデル、と捉えると理解しやすいでしょう。
世界モデル は、エージェントが能動的に動く（行動を選択する）という要素を内包しており、「受動的にデータを学習するだけ」のモデルとは一線を画す概念です。
今後は、世界モデルの概念を含んだ基盤モデル、すなわち“汎用的な世界理解”を身につけた巨大モデル”が台頭してくる可能性があります。これらが融合すると、ロボティクスや自動運転、シミュレーション科学など様々な分野で新しいAIイノベーションが起きると期待されています。

参考文献・追加情報源（英語含む）

Stanford HAI. (2021). On the Opportunities and Risks of Foundation Models. (https://hai.stanford.edu/)
Ha, D., & Schmidhuber, J. (2018). World Models. (arXiv:1803.10122)
Vaswani, A. et al. (2017). Attention is All You Need. (arXiv:1706.03762)
Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. (arXiv:1810.04805)
Brown, T. et al. (2020). *Language Models are Few-Shot Learners (GPT-3). * (arXiv:2005.14165)

こうした文献にあたりながら学習を進めると、より深い理解が得られるはずです。お役に立てれば幸いです。