AIに渡す資料を縮める技術を、縮める率で選んではいけない：480分の1という紹介に、法務の担当者は但し書きの行方を尋ねた

社内の勉強会で、AIへの入力を480分の1に縮める技術が紹介された。

参加者は、布団圧縮袋のような便利さを思い浮かべた。

質疑の時間に、法務の担当者が手を挙げた。

縮めた後に、契約の但し書きが残っているかを見る方法はあるのか。

会場は、静かになった。

便利な袋の話は、なぜ沈黙で終わったのか。

縮めた資料は、元に戻らない

ふだん圧縮と言えば、ファイルを小さくして、使うときに元へ戻すことを指す。

AIに渡す資料の圧縮は違う。削った部分は、AIに届く前に消える。戻らない。

勉強会で紹介された技術は、AIに渡す長い資料や会話の履歴を縮めるものだった。

要る情報を残したまま入力を短くする技術を、プロンプト圧縮と呼ぶ。短くした形のまま、AIに渡す。

縮める理由は、時間とお金にある。入力が長いほど、計算の量が増える。

応答は遅くなり、利用料も上がる。

では、消えた部分に但し書きが入っていたら、誰が気づくのか。

削った跡が文字で残るか、数の並びに消えるか

沈黙のカラクリは、縮め方の違いにある。圧縮には、大きく二つの方式がある。

一つ目の方式は、ハードプロンプト圧縮と呼ぶ。実際の単語や文（トークン）を選び、要る部分だけを残す。

質問との関連度で文を選ぶTPCは、ハードの例である。

AIの内部で重要な語に目を向ける部品（注意ヘッド）を使うEHPCも、ハードの例だ。

二つ目の方式は、ソフトプロンプト圧縮だ。内容を数の並び（ベクトル）に置き換えて詰め込む。

代表例の500xCompressorは、追加する部品の量（パラメータ）が約0.3%。圧縮率は6倍から480倍だった。

勉強会の480分の1という数字は、ソフトの側の最大値である。

二つの差は、圧縮率の高さだけではない。AIが読んだ中身を、人が点検できるかどうかだ。

圧縮率の数字だけで手法を選ぶ。引っ越しの見積もりを、段ボールの数だけで比べるのと同じだ。

何が入っていて、何が割れたか。知っているのは、箱を開けた人だけである。

細部は必ず落ちる。落ちた細部を誰が見つけるのか

2025年4月、六つの圧縮手法を13のデータセットで比べた研究がarXivに出た。

研究は、短い入力より長い入力のほうが、圧縮が性能に大きく響くと報告している。

複雑な作業ほど、大事な細部が落ちやすい。

細部が落ちるのは、圧縮の宿命である。分かれ目は、落ちた細部を人が点検できるかどうかだ。

ハードで縮めた入力は、人が読める。

契約の但し書きや数字の条件が残っているかを、削った後の文で確かめられる。

ソフトで縮めた入力は、数の並びだ。人の目では読めない。

答えが間違っていたとき、原因は元の資料か、圧縮か、AIの推論か。切り分ける手がかりが一つ減る。

法務の担当者の質問は、まさにここを突いていた。

契約の要約から、但し書きが一つ落ちたとする。要約の結論は、元の契約と逆になりうる。

ソフトで縮めた入力からAIが答えを出す。点検の前に、その答えを稟議に貼る。

封を切る前の段ボールに、検品済みの印を押すのと同じだ。印が保証するのは、箱を見たことだけである。

方式を選ぶ前に、仕事の前提を一文で書く

方式を選ぶ前に、用途の前提を一文で書く。かっこの中を自分の仕事に書き換えて使える。

この仕事で結論を変えるのは、（速さと費用／但し書き一つ）です。
取りこぼしてよい細部は（例：言い回しの揺れ）です。
必ず残す細部は（例：契約の但し書きと金額の条件）です。

必ず残す細部が一つでもあれば、ハードを選ぶ。

社内の問い合わせ対応を考えてみる。多少の取りこぼしより、速さと費用がものを言う仕事だ。

高い圧縮率が理にかなう。ソフトの出番である。

契約や監査は逆だ。一つの但し書きが結論を変える。

何が残ったかを点検できる方式を選ぶ。ハードの出番である。

袋の口を開ける前に、問うべき一つのこと

法務の担当者が尋ねたのは、圧縮率の高さではなかった。

袋の中を、人の目で確かめられるかどうかだった。

480分の1の袋を開ける前に、問うべきは一つ。但し書きは、まだ中にあるか。

拙著『GoogleのAI NotebookLM 意思決定の強化書』の2章1節に、AIはソースの信頼性を自動では十分に格付けせず、真偽と鮮度の責任は人に残るという話を書きました。読むと、AIに何を渡し、AIがどう扱ったかをどこまで点検すべきかが分かります。

出典

• Prompt Compression for Large Language Models: A Survey
• An Empirical Study on Prompt Compression for Large Language Models
• 500xCompressor: Generalized Prompt Compression for Large Language Models
• Understanding and Improving Information Preservation in Prompt Compression for LLMs
• Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models