行動する前に、頭の中で結果を試す。世界モデル（World Model）は、AIにこの力を持たせるための仕組みです。便利な力ですが、落とし穴が一つあります。頭の中で試す相手は本物の世界ではなく、自分で作ったモデルの世界だということです。計画がうまいエージェントほど、そのモデルの誤りを見つけ出し、そこを突く計画を選んでしまいます。
この記事では、世界モデルの定義、部品、利点、代表的な研究を整理したうえで、この落とし穴がなぜ起きるのか、研究はどう対処しているのかを考えます。最後に、同じ落とし穴が人の計画にもあることを見ます。
世界モデルは、外界を内部で再現し、行動の結果を予測します
強化学習では、エージェント（行動するAI）が状態を観測し、行動をとると、環境が次の状態へ移り、報酬が与えられます。世界モデルは、この状態の移り変わりを内部で近似的に学び、環境をまねられるようにするものです。
言葉自体は新しくありません。人や動物が外界をどう内部に表しているかは、脳科学や心理学で内部モデル、メンタルモデルとして問われてきました。AIで注目が一気に高まったのは、2018年にGoogle BrainのDavid Haと、LSTMの共同発明者として知られるJürgen Schmidhuberが発表した論文「World Models」がきっかけです。学んだ世界モデルの中だけで戦略を磨く、夢を見るような学習のたとえも、広く知られる一因になりました。
世界モデルは、いくつかの部品でできています
エンコーダは、画像やセンサーの情報を扱いやすい低次元の表現（潜在表現）に圧縮します。「World Models」ではVAEが使われました。ダイナミクスモデルは、いまの潜在表現と行動から次の状態を予測し、RNNやTransformer、確率的に遷移を表すMDN-RNNなどが使われます。報酬モデルは、状態と行動から得られる報酬を予測します。デコーダは、潜在表現から観測を再構成し、モデルの頭の中の景色を人が覗けるようにします。コントローラー（ポリシー）は、これらの予測をもとに行動を選びます。
利点は、試行の節約と先読みです
ロボットの実機での試行錯誤は、費用がかかり、壊れるおそれもあります。世界モデルがあれば、内部で多くのシミュレーションを回して、実環境で試す回数を大きく減らせます。行動の前に複数の分岐を内部で試し、良さそうな行動を選ぶこともできます。
囲碁などで知られるAlphaZeroは、ルールで定義された環境で先読みを行いました。2020年に発表されたMuZeroは、環境のモデルそのものを学習で獲得し、囲碁、将棋、チェスに加えてビデオゲームでも高い性能を示しました。画像から世界モデルを学ぶPlaNet（2019）はDreamerの基礎になり、Dreamerのシリーズは世界モデルの中だけで方策を更新する学習を進め、DreamerV2、DreamerV3で安定性と汎用性を高めてきました。SimPLe（2019）は、Atariのゲームで少ないデータから方策を学ぶ手法として注目されました。
使い方は大きく二つあります。MuZeroのように、世界モデルを使ってその場で最善手を探す方法と、Dreamerのように、世界モデルで想像のデータを作って方策を更新する方法です。
計画がうまいほど、モデルの誤りを突きます
コントローラーは、世界モデルが予測する報酬が最大になる行動を探します。世界モデルがどこかで楽観的に間違っていれば、その場所では予測上の報酬が高く見えます。探索が上手なほど、まさにその場所を見つけて選びます。さらに、予測を何段も重ねると、小さな誤りが積み上がっていきます。モデルベースの強化学習で、モデルの誤りを計画が利用してしまう問題として知られてきた現象です。
表計算で作った事業計画が、成長率のセルを一つ楽観的にしただけで、どの施策も黒字に見え始めるのと同じ構造です。計画を磨くほど、計画はそのセルに寄りかかっていきます。シミュレーションでは負けなし、という報告は、自分で作った問題集で満点を取ったという報告と同じ重さで聞くのが安全です。
研究では、想像の中で先読みする長さを短く区切る、複数のモデルの予測の食い違いを不確かさとして扱い、確信の持てない場所を避ける、実環境のデータで世界モデルを学び直し続ける、といった工夫が重ねられています。シミュレーターではうまくいくのに実機で通用しないSim2Real問題も、同じ落とし穴がシミュレーションと現実の境目に現れたものです。
限界は、まだ大きく残っています
現実の世界はゲームよりはるかに複雑で、大規模化には膨大な計算資源が要ります。部品どうしが影響し合うため、学習が不安定になりやすく調整の手間も大きい。内部の表現はニューラルネットワークのベクトルで、なぜその予測をしたのかを人が読み取りにくい、という課題もあります。
今後は、知識は豊富でも環境と試行錯誤する力の弱い大規模言語モデルなどの基盤モデルと、世界モデルを組み合わせる方向が期待されています。長期の計画、脳科学との連携、ロボティクスや自動運転への応用も進んでいます。どこまで現実の複雑さに耐える世界モデルが作れるのかは、まだ分かっていません。
頭の中で試す人の判断にも、同じ落とし穴があります
人も、計画を頭の中や表計算の上で試してから行動します。そのとき試している相手は、現実ではなく自分の前提で作ったモデルです。計画を練り込むほど、モデルの甘いところに寄りかかる計画が残りやすくなります。とくに、やり直しのきかない決定ほど、モデルの外の実データで前提を確かめる意味が大きくなります。
あなたがいま進めている計画は、どの前提の数字が一つ外れると成り立たなくなるでしょうか。その前提を、計画の外の実際のデータで最後に確かめたのはいつですか。
この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の4章5節「不確かな前提で進まないための安全確認」に書きました。取り返しのつかない決定で、影響の大きい前提の情報が足りなければ保留にする、という話で、そこには「これは、誤った前提にもとづく不可逆決定を防ぐためのブレーキです。」とあります。この節を読むと、自分の計画のどの前提に情報の空白が残っているかを洗い出し、進むか止まるかを自分で判断する物差しを持てるようになります。
同じ資料を見ているのに、なぜ結論が割れるのか。
『GoogleのAI NotebookLM 意思決定の強化書』
前提が結論を決める。意思決定を根拠、前提、結論の三層に分け、前提を対象、目的、制約、評価基準の四つで言葉にする本です。
読み終えたとき、手元に残るもの
- 意思決定の設計図になる前提リスト
- 資料を事実、意見、噂、ゴミに仕分けるFORT
- 同じ物差しで比べる選択肢表と採点表
- 始める条件と止める条件を書いた決定書
NotebookLMは2026年7月にGemini Notebookへ名称が変わりました。本の手法は、使うAIの種類を問いません。