資料を丸ごとAIに渡してはいけない：百ページを読ませたら、古い市場予測と最新のデータが同じ重さで並んだ

ある担当者が、新サービスの価格を決めるために、関連しそうな資料を百ページ分そろえた。

担当者は、百ページを丸ごとAIに渡した。

返ってきたまとめは、整った文章だった。

ただし、古い市場予測と最新のデータが、同じ重さで並んでいた。

文章に、誤りは見当たらない。では、整ったまとめのどこが、まずかったのか。

四つの弱点のうち、量と速さは技術が片づける

まとめのまま価格を決めると、どうなるか。古い予測が、最新のデータと同じ発言力を持つ。

価格の根拠に、もう当てはまらない数字が混ざる。それに気づく手がかりは、整った文章のどこにもない。

まず、AIの側の事情を見ておく。

Transformerは、大規模言語モデル（LLM）の土台になる仕組みだ。研究者は、四つの欠点を指摘している。

一つ目は計算。自己注意機構（入力の語どうしの関係を測る仕組み）は、すべての語の組み合わせを計算する。

2017年、GoogleのAshish Vaswaniらが、Transformerを論文で発表した。

論文の表は、自己注意の1層の計算量を、入力の長さの2乗に比例すると示している。入力が2倍になると、計算はおよそ4倍だ。

二つ目は距離。長い文脈では、離れた語どうしの関係をとらえる精度が落ちる。

2023年、Nelson F. Liuらが「Lost in the Middle」という論文で確かめた。題は、真ん中で迷子になる、という意味だ。

必要な情報が入力の最初か最後にあると、成績は高い。中ほどにあると、成績は大きく落ちた。

長い文脈向けのモデルでも、同じ傾向が出た。論文は、計算言語学の学術誌TACLに採録となった。

三つ目はデータ。性能を出すには、大規模なデータでの事前学習が要る。

四つ目は向く場面。臨床の文章の分類や、とても長い文書の処理では、ほかの仕組みに劣る場合がある。

それでも、悲観するには早い。欠点の多くは、どれだけ長く、どれだけ速く扱えるかの問題だ。

2020年、Iz Beltagyらが、Longformerを発表した。注意の計算を、入力の長さに比例する量まで抑えたモデルだ。

同じ年、Manzil Zaheerらが、BigBirdを発表した。同程度の機材で、従来の最大8倍の長さの入力を扱えるという。

量と速さの問題は、技術の進歩で少しずつ和らいでいく。

技術が進んでも残る、ただ一つの問題

では、百ページを完璧に読めるAIが来れば、冒頭のまとめは直るのか。

直らない。技術が進んでも、残る問題が一つある。

今回の決定にとって何が重要かを知るのは、決める人だ。

百ページを一度に読めるモデルにも、どの一行が価格を左右するかを選ぶ物差しが要る。

物差しは、何を決めたいかという前提から生まれる。冒頭の担当者は、その前提をAIに渡していなかった。

全社の資料を丸ごとAIに渡すのは、議題を空欄のまま全員を会議室に呼ぶのと同じだ。

読める量が増えるほど、重要な部分を選ぶ仕事は重くなる。

資料を渡す前の四つの欄で、差がつく

資料を渡す前に、四つの欄を埋める。

何を決めるか（対象）。何のためか（目的）。

何を守るか（制約）。何で良し悪しを測るか（評価基準）。

四つが決まると、渡す資料が絞れる。AIに頼む比較も絞れる。

次のプロンプトのかっこの中を、自分の案件に書き換えて使える。

対象：（例：新サービスの月額料金を決める）
目的：（例：初年度の契約数を伸ばす）
制約：（例：原価を下回る料金は候補から外す）
評価基準：（例：競合との価格差と、想定の契約数）
お願い：添付の資料から、上の四つに関わる部分だけを抜き出してください。資料ごとに、発行年と出どころを添えてください。

決める前の探索の段階では、資料を広く渡す。自分が見落としていた論点を、AIに挙げてもらう。

絞るのは、決める段階に入ってからだ。何を重く見たかは、結論と一緒に記録に残す。

百ページの前に書く四行

発行年と出どころが並べば、古い予測は古い予測として読める。

百ページの束に欠けていたのは、ページの数より、最初の四行だった。

この記事の考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の2章1節「ソースの品質がすべての土台」に書きました。この節を読むと、読める量がどれほど増えても、どの資料をどの重さで根拠にするかの選別がなぜ自分の側に残るのかが分かります。

出典

• Semantic Scholar 掲載論文（1）
• Semantic Scholar 掲載論文（2）
• Semantic Scholar 掲載論文（3）
• arXiv 2005.00633
• DOI 10.1109/jbhi.2021.3062322
• Attention Is All You Need（Vaswaniほか、NeurIPS、2017年）
• Lost in the Middle: How Language Models Use Long Contexts（Liuほか、TACL、2023年）
• Longformer: The Long-Document Transformer（Beltagyほか、2020年）
• Big Bird: Transformers for Longer Sequences（Zaheerほか、2020年）