LLMの競争では、一度に読み込める量であるコンテキストウィンドウの大きさが注目されてきました。しかし、記憶の広さだけでは勝負は決まりません。この記事では、コンテキスト競争の到達点と限界を整理し、なぜ次の争点が「推論」に移るのかを、2025年時点の情報で説明します。
コンテキストは「最低条件」になった
コンテキストウィンドウは、モデルが応答を作るときに一度に考慮できる情報の量です。この数年で桁違いに広がり、Gemini 1.5 Proは最大200万トークン、Claude Sonnet 4は100万トークン、オープンモデルのLlama 4 Scoutは1000万トークンを公称しています。
広いウィンドウは、長い契約書の分析、コードベース全体の把握、長い対話の一貫性など、多くの新しい使い道を開きました。ただ、主要各社がそろって大きなウィンドウを持つようになると、それは差ではなく前提になります。大きなコンテキストは、最先端のモデルが備えるべき最低条件であって、勝ちを保証する十分条件ではありません。
公称の長さと、実際に使える長さは違う
カタログに載る「公称の長さ」と、信頼して使える「実効の長さ」には大きな差があります。
よく知られているのが「Lost in the Middle」です。モデルは文脈の最初と最後の情報はよく使えますが、中間に埋もれた情報を見落としやすく、成績がU字型を描きます。長い文章に情報を一つだけ埋めて探させる「干し草の中の針」テストは解けても、より複雑な推論を求めるRULERやNoLiMaといったベンチマークでは、多くのモデルが3.2万〜6.4万トークンあたりを超えると急に成績を落とすと報告されています。12.8万トークンをうたうモデルでも、実効は3.2万トークン程度という場合があるわけです。
コストもかかります。文脈が長いほど課金されるトークンが増え、最初の一文字が返るまでの時間も延びます。中核の自己注意の仕組みは、長さが2倍になると計算量が4倍になる性質を持つため、広げれば広げるほど重くなります。
争点は「どれだけ覚えるか」から「どう考えるか」へ
評価の物差しも変わりつつあります。一般知識を問うMMLUや、単純な検索を問う針探しのテストは、上位のモデルがほぼ満点を取るようになり、差がつきにくくなりました。代わって、専門家レベルの推論を問うGPQA、実際のGitHubの課題を解かせるSWE-Bench、数学やプログラミングの競技問題のように、多段階の思考を要するテストが重視されています。
近年の研究では、LLMの性能は文脈の長さよりも、推論の複雑さが増したときに急に落ちることが示されています。いまのボトルネックは記憶ではなく思考にある、ということです。
研究者の見方も分かれています。MetaのチーフAIサイエンティストであるヤン・ルカン氏は、次の単語を予測するだけの今のLLMでは、真の推論や計画には届かないと主張し、世界のモデルを持つ別の構造を提唱しています。ジェフリー・ヒントン氏は、LLMが想像以上に人間に近い性質を持ちうると指摘する一方で、根拠との結び付きがなければ真偽を区別できないという危うさも警告しています。どちらも、記憶を増やすだけでは中核の弱点は解決しない、という点で通じています。
業界の取り組みも、思考の質に向かっています。手順を一歩ずつ考えさせるChain-of-Thoughtは、推論の連鎖の長さや構造そのものが性能を左右することを示しました。必要な部分だけを動かすMixture-of-Expertsや、計算量の増え方を抑える新しい注意の仕組みも、より効率よく考えるための工夫です。
導入する側が見るべきこと
この見方は、モデルを選ぶ企業にもそのまま当てはまります。
- 公称のウィンドウだけで選ばず、自分の用途で、特に中間にある情報を使う推論の成績を確かめる
- 長い文脈とRAG（必要な部分を検索して渡す方法）を使い分ける。更新され続ける大量のデータにはRAG、厳選した文書の統合分析には長い文脈
- 最大のウィンドウではなく、課題を解くのに足りる最小限の文脈を使う。費用と速さの釣り合いを取る
コンテキストをめぐる競争は、短距離走のようにやがて差が縮まります。その先の長い競争を決めるのは、記憶の広さではなく思考の深さです。
推論を引き出すのは、頼み方の設計
モデルの推論力がどれほど高くても、それを引き出すのは使う側の頼み方です。何を考えてほしいのか、どんな背景を渡すのか、どの順序で考え、どんな形で返してほしいのか。中間の情報が見落とされやすいなら、大事な条件を最初と最後に置く。こうした設計で、同じモデルの答えの質は大きく変わります。
拙著『ChatGPT はじめてのプロンプトエンジニアリング』は、AIに何を頼むのか、どんな背景を渡すのか、どんな形式で返してほしいのかを順序立てて考える入門書です。モデルの推論力を、自分の仕事で使える形に引き出す手がかりになるはずです。
このテーマを社内の研修や講演で取り上げたい場合は、講演と研修の案内をご覧ください。