AIが長い資料の真ん中を読み落とすカラクリ:100ページの契約書、拾ったのは2ページ目と98ページ目の条項だった

担当者が、100ページの契約書をAIに渡した。リスクのある条項を挙げて、と頼んだ。

返ってきた一覧には、2ページ目と98ページ目の条項が並んだ。

55ページ目の免責条項は、一覧の外だった。

免責条項は、損害が出たときに誰が責任を負うかを左右する。一覧だけを頼りに署名すれば、その条項を読まないまま契約を結ぶ。

AIは、冒頭と末尾の条項は拾っていた。なぜ55ページ目だけが抜けたのか。

真ん中が影に入る現象の正体

契約書の55ページ目は、100ページのちょうど中ほどにある。

長い文脈の中ほどで、AIが情報を見落とす現象がある。名前は、Lost in the Middle(真ん中で迷子になる現象)だ。

AIは、渡した資料をどこでも同じ重さで読むように見える。実際のLLM(大規模言語モデル)には、位置による偏りが二つある。

冒頭の情報を重く見る、初頭効果。末尾の情報を優先する、親近効果。

カラクリは単純だ。二つが重なると、冒頭と末尾に注意が集まる。中間は、影に入る。

Liuらは、論文「Lost in the Middle」で実験をした。2024年に学術誌TACLが載せた論文である。

研究チームは、質問と複数の文書をモデルに渡した。答えを含む文書の位置を入れ替えて、正解率を測った。

正解率は、冒頭と末尾で高く、中間で大きく落ちた。U字型の曲線である。

GPT-3.5-Turboに20の文書を渡した条件では、答えが先頭にあると正解率は75.8%だった。

答えが10番目にあると、53.8%まで落ちた。文書を一つも渡さないときの56.1%より低い。

中ほどに置いた答えは、渡さなかった答えより役に立たなかったことになる。

見落としは、中身より並び方で起きる

決算資料の要約で考える。冒頭の概況と末尾の見通しは、正確に出る。

中間の脚注にある減損処理は、抜け落ちる。

内容より並び方で起きる失敗なので、気づくのが遅れる。

干し草の中の針テストは、長い文章に一文だけ埋めて探させる試験だ。上位のモデルは、ほぼ完璧な成績を出す。

針探しの満点は、安心材料になるのか。

質問と答えの語の重なりを小さくした試験に、NoLiMaがある。2025年に発表された評価である。

GPT-4oの正解率は、短い文章では99.3%だった。32Kトークンの長さでは、69.7%まで下がった。

128Kトークン以上をうたう12のモデルのうち、10のモデルが、32Kで短い文章での成績の半分を下回った。

上位モデルでも、言い回しが変わると、長い資料から答えを拾い損ねる。

なぜ中ほどだけが影に入るのか

初頭効果と親近効果の根は、モデルの仕組みにある。

中間が見落とされる三つの理由

一つ目は、注意の拡散。文脈が長いと、注意の重みが広く散らばる。

二つ目は、一方向の読み方。前から順に見る仕組みが、冒頭寄りの偏りを生む。

三つ目は、距離による減衰。Llamaなどで主流の位置の表し方(RoPE)は、離れたトークンほど注意の信号を弱める。

三つが重なるため、根の深い偏りだという見方が強い。モデルが変わるのを待つより、渡し方を変えるほうが早い。

渡し方の四つの工夫で、差がつく

渡す前に、資料のどこが答えの根拠になるかを自分で決める。決めた箇所を、渡し方に生かす。

  1. 目的と大事な条件を、資料の前に書く。
  2. 問いと大事な条件を、資料の後にもう一度書く。
  3. 離れた箇所をまたぐ推論は、小分けに処理させる。まとめは最後に頼む。
  4. 針探しの成績より、自分の実際の資料で試す。

次の文面のかっこの中を、自分の資料に書き換えて使える。

目的:(例:契約前に、当社に不利な条項を洗い出します)
大事な条件:(例:免責、損害賠償、解約に関する条項は、ページの位置にかかわらず必ず拾ってください)
資料:
(ここに資料を貼ります)
問い:(例:目的に照らして、当社に不利な条項をページ番号つきで挙げてください。免責、損害賠償、解約の条項は必ず含めてください)

資料のどこを根拠にするかは、頼む人の前提だ。前提を言葉にして、資料の前後に置く。

55ページ目を拾わせる一行

前後に置く条件に免責の一語を書けば、その一語は資料の冒頭と末尾に並ぶ。

55ページ目の免責条項を拾う鍵は、資料の前後に置く一行にある。

拙著『ChatGPT はじめてのプロンプトエンジニアリング』は、AIに何を頼み、どんな背景を渡し、どんな形式で返してほしいかを順に考える入門書で、長い資料での見落としを減らす頼み方の手がかりになります。研修の設計に落とし込みたい場合は、AI導入方針・研修設計の整理をご覧ください。

出典

著者プロフィール・お問い合わせ