AIに資料を全部入れるのは今日からやめなさい：3年前の予測と先月のデータ、AIは二つの数字の間を取った

企画の担当者が、市場調査の資料40本をまとめてAIに入れた。

一本は3年前の予測。別の一本は先月のデータだった。

AIは、二つの数字の間を取った見通しを返した。

答えの中に、食い違いの跡はゼロ。

大規模言語モデル（LLM、文章を作るAIの本体）が一度に読める量は、数年で512トークン前後から100万トークン超へ伸びた。

40本くらい、器には楽に収まる。器が大きくなった今、なぜ資料を選ぶ必要があるのか。

100万トークンの器の正体

AIに一度に渡せる文章の量には、上限がある。上限は、トークンという単位で数える。

コンテキスト長（context length）とは、モデルが答えを作るときに、文脈として一度に扱えるトークン数の上限だ。

トークンは、文章を入力するときの最小単位である。単語や、単語をさらに細かく分けたサブワードが当たる。

文脈とは、直前までの質問や会話の流れ全体を指す。

BERT系は512トークン前後、GPT-2は1,024トークン程度だった。GPT-3系は、2,000から4,000トークン程度。なお、モデルの数値は2025年初め時点の目安だ。

おおまかには、数千トークンでA4の文書数ページ分。数十万トークンで、本一冊に近づく。

2024年2月、Googleは「Gemini 1.5 Pro」で、100万トークンの文脈を試験的に開放したと発表した。同社の開発者向けブログによれば、英語で70万語を超える文章を一度に扱える量だという。

上限が残るおもな理由は、計算量だ。長さを2倍にすると、自己注意（文中の語どうしの関係を計算する仕組み）の計算は約4倍に膨らむ。

「入る」と「読める」は何が違うのか

会議室の定員は、部屋に入れる人数を示す。全員の発言を聞き取れる人数とは、別の数字だ。

コンテキスト長の上限も、受け付けられる量を示すにすぎない。読み込んだ量と理解した量は、別の物差しである。

長いテキストを渡すと、AIがあまり参照しない部分が残る。部分的に整合を欠く答えも出る。

裏付けになる研究がある。スタンフォード大学などの研究チームが2023年に発表した論文「Lost in the Middle」だ。

論文によれば、答えに要る情報が入力の最初か最後にあるとき、モデルの成績は最も高い。中ほどに置くと、成績は大きく落ちる。長い文脈向けに作ったモデルでも、同じ傾向が出た。

百万トークン入るから全部入れる。会議室に入るからと、全社員を呼んで会議を始めるのと同じことだ。

間を取られた二つの数字

上限が短かったころ、使う人は入る分だけ資料を選んだ。選ぶ手間が、結果として資料の質を保っていた。

器が大きくなると、古い予測と最新のデータが同じ器に並ぶ。専門家の分析と出所が不明の意見も、混ざったまま並ぶ。

カラクリはここにある。食い違う資料を同時に読むと、AIは食い違いを調和させた答えを作ろうとする。

答えの中から、食い違いの跡が消えることもある。読む側は、食い違いがあったことさえ知らないまま答えを受け取る。

40本の資料で起きたのは、まさにこの現象だった。3年前の予測と先月のデータは、見通しの一つの数字に溶けていた。

入れる資料は、一文の問いで決まる

何を入れ、何を外すか。決めるのは、問う人の前提だ。渡す前に、AIで確かめたいことを一文で書く。

確かめたいことが一文で決まれば、目的に照らして要る資料も決まる。

今日からやめる「全部入れ」、代わりの手順

渡す前に、三つを確かめる。目的に照らして必要か。いつの情報か。誰が書いたものか。

食い違いがありそうな資料は、別々に読ませる。読ませた後で、二つを突き合わせる。

次の文面は、資料Aと資料Bの名前を書き換えれば使える。

これから二つの資料を別々に渡します。まず（例：資料A　3年前の市場予測）だけを読み、主張を五つ以内で要約してください。
次の指示で（例：資料B　先月の販売データ）を渡します。両方を読んだ後で、二つの資料の食い違いを、どちらの資料のどの記述かを示して挙げてください。
食い違いは、食い違いのまま並べてください。

40本から選び直すと何が変わるか

コンテキスト長が伸びて増えたのは、選ばずに渡せる資料の量だ。上限が示すのは、受け付けられる量にすぎない。

3年前の予測と先月のデータ。別々に読ませていれば、AIは間を取らず、食い違いを食い違いのまま差し出したはずだ。

出典

• Lost in the Middle: How Language Models Use Long Contexts（Nelson F. Liu ほか、Transactions of the Association for Computational Linguistics、2023年）https://arxiv.org/abs/2307.03172
• Gemini 1.5: Our next generation model, now available for Private Preview in Google AI Studio（Google for Developers Blog、2024年）https://developers.googleblog.com/2024/02/gemini-15-available-for-private-preview-in-google-ai-studio.html

この記事の考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の2章1節「ソースの品質がすべての土台」に書きました。この節を読むと、大きな器を前にしたとき、何を入れ、何を外し、何を別々に読ませるかを自分で決められるようになります。