担当者が、社内で使うAIを選ぶ会議に比較表を出した。表の一行目は、最大100万トークンのモデルだった。
会議では、最大値がいちばん大きいモデルに決まった。
導入の後、担当者は画面で使える量を測った。
使える量は、公称の数字の一部だった。
会議の決め手は、一行目の数字だけである。一行目の100万は、どこへ消えたのか。
コンテキストウィンドウの正体は、のぞき窓より作業机だ
ウィンドウという名前から、のぞき窓を思い浮かべがちだ。今の規模なら、資料を広げて突き合わせる作業机に近い。
コンテキストウィンドウ（コンテキスト長）は、モデルが応答を作るときに、一度に考慮できる情報の量である。単位はトークン（文字のかたまり）だ。
量には、入力に加えて、出力や制御用のトークンも入る。
100万トークンあれば、約5万行のコードや小説8冊分を一度に読み込めるという。
ただし、表示どおりの広さで机を使えるとは限らない。GPT-5は合計40万トークンをうたうが、入力に使えるのは27.2万である。
公称の数字は、どこで目減りするのか
比較表の数字は、2025年8月時点のものだ。
| モデル | 公称の最大 | 実際の注意点 |
| GPT-5 | 40万 | API入力は27.2万、ChatGPTは8千〜12.8万 |
| Gemini 2.5 Pro | 100万 | 100万が標準機能 |
| Claude Opus 4.1 | 20万 | 安定した20万 |
| Claude Sonnet 4 | 100万（ベータ） | 20万超は料金が上がる |
| Llama 3.1 | 12.8万 | オープンモデルの選択肢 |
GPT-5の40万のうち、APIの入力上限は27.2万で、残りは出力用だ。
ChatGPTの画面では、無料が8千、Plusが3.2万、ProやEnterpriseが12.8万だった。
同じGPT-5でも、画面から使うと、入力は公称の3分の1以下になる。
Claude Sonnet 4は、20万トークンを超えると入力料金が2倍になる。出力料金は1.5倍だ。
使えるトークン数は、APIか画面か、料金プラン、ベータか正式かで変わる。
冒頭の担当者が測った量も、目減りした後の数字だった。公称の最大値と、実際に使える量は違う。
長く読ませると、なぜ正解率が落ちるのか
量の目減りは、序の口である。読める量の内側でも、長く読ませるほど正解率は落ちる。
LongCodeBenchでは、Claude 3.5 Sonnetのコード修正の正解率が、3.2万トークンで29%だった。25.6万トークンでは、3%まで下がったという。
机を広げるほど、AIは机の上の資料を取りこぼす。
背景の一つは、計算の重さだ。自己注意（文中の語どうしの関係を計算する仕組み）の計算は、文脈が2倍になると約4倍に増える。
出どころは、2017年の論文「Attention Is All You Need」だ。自己注意の1層あたりの計算量は、文脈の長さの2乗に比例する。
もう一つは、読む位置の偏りである。モデルは、文脈の最初と最後をよく使う。
研究者は、中間を見落としやすい現象をLost in the Middleと呼ぶ。
2023年、ネルソン・リウらの論文が現象を示した。複数の文書を読ませて質問に答えさせ、答えの載る文書の位置を動かした。
成績は、答えが冒頭か末尾にあるときに最も高かった。中ほどにあると、大きく下がった。
長い文脈向けに作ったモデルでも、同じ傾向が出た。
100万という数字を見ると、資料を全部渡したくなる。全部渡すほど、資料の中ほどは見落としの危険が高い場所になる。
渡し方は、資料と根拠の前提で選び分ける
1冊の目論見書の要約なら、長文コンテキストが向く。
金融や法務では、日々更新が続く決算や市場データを横断して、回答の根拠を示す場面が多い。
引用の証跡が残るRAG（関連部分を検索して渡す方法）が、当面は優位とみられる。
どちらが向くかは、比較表の数字では決まらない。扱う資料と、根拠の示し方で決まる。
比較表を開く前に、言葉にする四つの前提
前提は四つだ。
一つ目は、扱う資料が固定か、更新し続けるものかである。二つ目は、回答の根拠を示す必要があるかだ。
三つ目は、費用と速さの制約。四つ目は、何をもって十分とするかである。
前提を言葉にしたら、自分の実際の仕事で試して比べる。四つの前提は、AIに比較を頼むときにも渡せる。
次のプロンプトのかっこの中を、自分の仕事に書き換えて使う。
扱う資料：（例：毎月更新される決算資料と市場データ）
根拠の示し方：（例：回答の一文ずつに、資料の箇所を示す）
制約：（例：月の費用は5万円まで。回答は30秒以内）
十分の基準：（例：試験用の質問20問のうち18問で、根拠の箇所が正しい）
お願い：前提に合うモデルを、候補（例：GPT-5、Gemini 2.5 Pro、Claude Sonnet 4）の中から比べてください。一行目に書くべきだったのは、数字より資料の名前だ
冒頭の会議は、一行目の数字だけで決まった。四つの前提を書いた行は、表のどこにもなかった。
あの比較表の一行目に要ったのは、100万という数字より、扱う資料の名前だった。
拙著『GoogleのAI NotebookLM 意思決定の強化書』は、前提を対象、目的、制約、評価基準の四つで言葉にしてから選択肢を比べる本で、AIモデルの選定でも比べ方がぶれなくなります。社内のAI導入方針や研修の設計として整理したい場合は、AI導入方針・研修設計の整理をご覧ください。
出典
- HUGE GPT-5 DOCUMENTATION GAP/FLAW: Input limit is not the advertised context window (OpenAI Community Forum)
- Long context, Gemini API (Google AI for Developers)
- Claude Sonnet 4 now supports 1M tokens of context (Anthropic)
- LongCodeBench: Evaluating Coding LLMs at 1M Context Windows (arXiv)
- RAG for Finance: Automating Document Analysis with LLMs (CFA Institute)
- Attention Is All You Need（Vaswani et al., arXiv, 2017）
- Lost in the Middle: How Language Models Use Long Contexts（Liu et al., arXiv, 2023）