担当者が、100ページの契約書をAIに渡した。リスクのある条項を挙げて、と頼んだ。
返ってきた一覧には、2ページ目と98ページ目の条項が並んだ。
55ページ目の免責条項は、一覧の外だった。
免責条項は、損害が出たときに誰が責任を負うかを左右する。一覧だけを頼りに署名すれば、その条項を読まないまま契約を結ぶ。
AIは、冒頭と末尾の条項は拾っていた。なぜ55ページ目だけが抜けたのか。
真ん中が影に入る現象の正体
契約書の55ページ目は、100ページのちょうど中ほどにある。
長い文脈の中ほどで、AIが情報を見落とす現象がある。名前は、Lost in the Middle(真ん中で迷子になる現象)だ。
AIは、渡した資料をどこでも同じ重さで読むように見える。実際のLLM(大規模言語モデル)には、位置による偏りが二つある。
冒頭の情報を重く見る、初頭効果。末尾の情報を優先する、親近効果。
カラクリは単純だ。二つが重なると、冒頭と末尾に注意が集まる。中間は、影に入る。
Liuらは、論文「Lost in the Middle」で実験をした。2024年に学術誌TACLが載せた論文である。
研究チームは、質問と複数の文書をモデルに渡した。答えを含む文書の位置を入れ替えて、正解率を測った。
正解率は、冒頭と末尾で高く、中間で大きく落ちた。U字型の曲線である。
GPT-3.5-Turboに20の文書を渡した条件では、答えが先頭にあると正解率は75.8%だった。
答えが10番目にあると、53.8%まで落ちた。文書を一つも渡さないときの56.1%より低い。
中ほどに置いた答えは、渡さなかった答えより役に立たなかったことになる。
見落としは、中身より並び方で起きる
決算資料の要約で考える。冒頭の概況と末尾の見通しは、正確に出る。
中間の脚注にある減損処理は、抜け落ちる。
内容より並び方で起きる失敗なので、気づくのが遅れる。
干し草の中の針テストは、長い文章に一文だけ埋めて探させる試験だ。上位のモデルは、ほぼ完璧な成績を出す。
針探しの満点は、安心材料になるのか。
質問と答えの語の重なりを小さくした試験に、NoLiMaがある。2025年に発表された評価である。
GPT-4oの正解率は、短い文章では99.3%だった。32Kトークンの長さでは、69.7%まで下がった。
128Kトークン以上をうたう12のモデルのうち、10のモデルが、32Kで短い文章での成績の半分を下回った。
上位モデルでも、言い回しが変わると、長い資料から答えを拾い損ねる。
なぜ中ほどだけが影に入るのか
初頭効果と親近効果の根は、モデルの仕組みにある。
一つ目は、注意の拡散。文脈が長いと、注意の重みが広く散らばる。
二つ目は、一方向の読み方。前から順に見る仕組みが、冒頭寄りの偏りを生む。
三つ目は、距離による減衰。Llamaなどで主流の位置の表し方(RoPE)は、離れたトークンほど注意の信号を弱める。
三つが重なるため、根の深い偏りだという見方が強い。モデルが変わるのを待つより、渡し方を変えるほうが早い。
渡し方の四つの工夫で、差がつく
渡す前に、資料のどこが答えの根拠になるかを自分で決める。決めた箇所を、渡し方に生かす。
- 目的と大事な条件を、資料の前に書く。
- 問いと大事な条件を、資料の後にもう一度書く。
- 離れた箇所をまたぐ推論は、小分けに処理させる。まとめは最後に頼む。
- 針探しの成績より、自分の実際の資料で試す。
次の文面のかっこの中を、自分の資料に書き換えて使える。
目的:(例:契約前に、当社に不利な条項を洗い出します)
大事な条件:(例:免責、損害賠償、解約に関する条項は、ページの位置にかかわらず必ず拾ってください)
資料:
(ここに資料を貼ります)
問い:(例:目的に照らして、当社に不利な条項をページ番号つきで挙げてください。免責、損害賠償、解約の条項は必ず含めてください)
資料のどこを根拠にするかは、頼む人の前提だ。前提を言葉にして、資料の前後に置く。
55ページ目を拾わせる一行
前後に置く条件に免責の一語を書けば、その一語は資料の冒頭と末尾に並ぶ。
55ページ目の免責条項を拾う鍵は、資料の前後に置く一行にある。
拙著『ChatGPT はじめてのプロンプトエンジニアリング』は、AIに何を頼み、どんな背景を渡し、どんな形式で返してほしいかを順に考える入門書で、長い資料での見落としを減らす頼み方の手がかりになります。研修の設計に落とし込みたい場合は、AI導入方針・研修設計の整理をご覧ください。
出典
- Lost in the Middle: How Language Models Use Long Contexts (ACL Anthology)
- Lost in the Middle: How Language Models Use Long Contexts (CS Stanford)
- The Needle In a Haystack Test (Towards Data Science)
- Lost in the Middle: How Language Models Use Long Contexts(Liuら、TACL、2024年)
- NoLiMa: Long-Context Evaluation Beyond Literal Matching(Modarressiら、ICML、2025年)
