AIに関係しそうな資料を全部貼ってはいけない:返ってきた要約の中心は、参考のつもりで貼った古い報告書だった

担当者が、比較表を見てモデルを選んだ。コンテキスト長(一度に読める量)がいちばん大きなモデルだった。

担当者は、関係しそうな資料を全部貼り付けた。頼んだのは、要点のまとめである。

返ってきた要約の中心にいたのは、参考のつもりで貼った古い報告書だった。

いちばん大きなモデルを選び、資料も漏れなく渡した。古い報告書を主役に据えたのは、誰なのか。

三つの数字の正体は、範囲の境目だ

比較表には、数字が三つ並ぶ。コンテキスト長、トークン数、パラメーター数である。

ふつう人は、仕様の数字を、大きいほど性能が高い印として読む。三つの数字は、測っているものの次元が違う。

トークン数は、渡す文章を、モデルが扱う単位に刻んだときの数だ。

コンテキスト長は、モデルが一度に扱えるトークン数の上限である。

パラメーター数は、モデルの内部で、学習によって値が決まる重みの総数だ。モデルの容量を表す。

図書館にたとえると、パラメーター数は棚の数。コンテキスト長は、一度にページを広げられる机の広さ。

トークン数は、机の上の文章を細かく刻んだ数である。

パラメーター数は棚の数、コンテキスト長は机、トークン数は机の上の文章を刻んだ数にあたる

三つとも、扱える範囲の境目を示す制約の数字だ。どの資料が決め手かは、どの数字にも書いていない。

上限まで入ることと、使いこなすことは別の話だ

パラメーター数が多いほど、複雑なパターンを学べる可能性は高まる。ただし示すのは、棚の数だ。

欲しい本が棚にあるかは、別の問いである。

カラクリは単純だ。仕様の数字は、モデルの賢さを保証する数字とは別物である。

コンテキスト長も同じだ。上限まで入ることと、上限まで使いこなせることは別の話になる。

2024年に発表された評価RULERは、32Kトークン以上をうたう17のモデルを調べた。

32Kの長さで満足な性能を保てたのは、半数だけだった。公表された上限の数字は、範囲の広さを示すだけだ。

もう一つの落とし穴が、数え方である。上限は、文字数よりトークン数で決まる。

同じ「こんにちは」でも、あるトークナイザー(文章を刻む道具)では1トークンになる。別のものでは、2、3トークンになる。

文字数だけで見積もると、実際には上限を超えている場合がある。

大きな数字を選べば安心、とはいかない。机の広さは、何を主役に読むかまでは決めない。

決め手の資料を知っているのは、渡す側だけだ

棚の数と机の広さは、モデルを選んだ時点で決まる。

毎回の仕事で動かせるのは、机の上の中身だ。どの資料を選び、どの順に広げ、何を答えてほしいかを伝えるか。

関係しそうな資料を全部貼るプロンプトは、会議に百枚の資料を配るのに似ている。要点は各自で拾ってください、と言う進め方だ。

どの資料が決め手の根拠で、どの資料が参考か。重みを知っているのは、渡す側である。

何を根拠に答えてほしいかは、渡す人の前提だ。前提を言葉にしてAIに渡す力が、渡す側の問う力である。

資料を三つに分けて渡す

載せる前に、資料を三つに分ける。

  1. 答えの根拠にしてほしい資料
  2. 参考として見せる資料
  3. 今回は机の外に置く資料

同じモデルでも、返ってくる答えの焦点が変わる。

机が広くなるほど、机の外に置く資料を選ぶ仕事の比重が上がる。

次の文面のかっこの中を、自分の資料に書き換えて使える。

添付の資料をもとに、(例:来期の販促方針の要点)をまとめてください。
根拠にする資料:(例:2025年1月の会議の決定事項)
参考の資料:(例:2023年の報告書。経緯の説明だけに使ってください)
答えの一文ずつに、根拠にした資料の名前を添えてください。

根拠の資料の名前を書き添えると、答えの一文ずつを元の資料と突き合わせられる。

古い報告書に足りなかった「参考」の札

古い報告書を主役にしたのは、モデルの数字ではなかった。

古い報告書に足りなかったのは、参考という一行の札である。

拙著『GoogleのAI NotebookLM 意思決定の強化書』の2章4節「ソースを仕分ける」に、この記事の考え方を書きました。読むと、AIに渡す資料のうち何を載せて何を載せないかを、手元の案件で決められるようになります。

同じ資料を見ているのに、なぜ結論が割れるのか。

GoogleのAI NotebookLM 意思決定の強化書 表紙

『GoogleのAI NotebookLM 意思決定の強化書』

前提が結論を決める。意思決定を根拠、前提、結論の三層に分け、前提を対象、目的、制約、評価基準の四つで言葉にする本です。

読み終えたとき、手元に残るもの

  • 意思決定の設計図になる前提リスト
  • 資料を事実、意見、噂、ゴミに仕分けるFORT
  • 同じ物差しで比べる選択肢表と採点表
  • 始める条件と止める条件を書いた決定書

NotebookLMは2026年7月にGemini Notebookへ名称が変わりました。本の手法は、使うAIの種類を問いません。

Amazonで見る

出典

著者プロフィール・お問い合わせ