本郷喜千

更新

AIで契約書を照合しても、安心してはいけない：「資料どおり」の結果の根拠は、改定前の古い社内規程だった

担当者が、汎用のAIで契約書の下書きを作った。照合のために、社内規程をNotebookLMに入れた。

下書きの記述には、資料どおりという結果が、引用番号付きで並んだ。

入れた社内規程は、半年前の改定より前の版だった。

引用番号は、きちんと並んでいた。では、並んだ引用番号は、何を保証していたのか。

根拠の付いた誤りは、机の外へ出ていく

根拠付きの合格を信じると、誤りは確かめられないまま次の工程へ進む。

根拠らしきものが付いた誤りが外へ出ると、何が起きるか。法廷で、実際に起きている。

2023年、ニューヨーク南部地区の連邦地裁は、弁護士らに5,000ドルの制裁金を科した。

弁護士らは、ChatGPTが示した実在しない判例を、裁判所への書面に引いていた。

根拠らしい形をした誤りは、確かめる人がいなければ、そのまま外へ出る。

契約書でも、構図は同じだ。引用番号付きの合格は、疑う手を止めさせる。

引用番号が示すのは、答えの出どころだけだった

カラクリは単純だ。引用番号が示すのは、答えがどの資料から来たかだけである。

資料が今も正しいかまでは、引用番号は教えてくれない。

検索エンジンは、情報のありかを示す。一般的なチャットAIは、学習したデータから確率的に答えを作る。

NotebookLMは、参照する範囲を、利用者が入れた資料（ソース）に限る。

参照する範囲を資料に限ることを、グラウンディングと呼ぶ。

グラウンディングは、もっともらしい誤り（ハルシネーション）の危険を下げる考え方だ。

資料の範囲外の質問には、範囲外と返す。答えには、資料の該当箇所への引用番号が付く。

NotebookLMが限るのは、答えの出どころである。出どころの資料が今も正しいかは、資料を選ぶ人が確かめる。

始まりは、2023年にGoogle Labsで試験運用が始まったProject Tailwindだ。

2025年時点では、PDF、YouTube動画、音声ファイル、WebページのURLなどを資料に使えた。

前の年度の解答用紙で、今年の答案を採点する

前の年度の解答用紙で、今年の答案を採点するとどうなるか。丁寧に採点するほど、誤った答えに丸が付く。

改定前の規程で照合すると、同じことが起きる。結果が入れ替わるのだ。

新しい規程どおりの正しい記述に、資料と食い違うという指摘が付く。

古い規程どおりの誤った記述は、資料どおりとして、引用番号付きで合格する。

道具は、仕様どおりに忠実に働いている。忠実に働いたから、誤りに根拠が付いた。

改定前の古い規程で照合すると、新しい規程どおりの正しい記述は食い違いとして指摘されます。古い規程どおりの誤った記述は、引用番号付きで合格します

正しい記述を直し、誤った記述を残す。照合が丁寧なほど、契約書は古い規程に寄っていく。

照合の前に、版と日付を書き留める

NotebookLMを検証役に据える手順は、四つある。まず、汎用のAIで契約書や社内規程の下書きを作る。

次に、信頼できる資料をNotebookLMに入れる。三つ目に、下書きの主張を資料と照合させる。

最後に、引用付きの結果を残す。結果は、人が確かめる。

汎用のAIで下書きを作り、信頼できる資料をNotebookLMに入れて、下書きの主張を資料と照合させます。引用付きの結果は、人が最後に確かめます

検証役の手順で、架空の判例を引用する事故を防げたという報告もある。

引用番号を押すと、答えの一文がどの資料のどこから来たかが分かる。引用は、確かめる作業の入口だ。

照合の準備は三つある。

一つ目に、資料ごとに版と日付を書き留める。照合に使う資料は、版と日付を確かめてから入れる。

二つ目に、資料の範囲外の点は、情報なしと答えるよう指示する。

三つ目に、食い違いを予想する資料は、別々に読ませてから突き合わせる。

公布直後の法令の条文のように、出所と時点が確かな資料もある。そうした資料なら、検証役はかなり信頼できる。

照合の基準にする資料は、使う人と組織が決める。

次の文面のかっこの中を、自分の照合に書き換えて使える。

照合に使う資料：（例：社内規程 第5版、2026年4月1日改定）
照合する下書き：（例：業務委託契約書の下書き）
お願い：下書きの主張を一文ずつ資料と照合してください。結果には、引用元の箇所と資料の版を添えてください。資料の範囲外の点は、情報なしと書いてください。

引用番号の先にあったのは、役目を終えた規程だった

引用番号が示すのは、答えの出どころだ。出どころが古ければ、誤りの側が引用番号付きで合格する。

引用番号は、入れた資料の箇所を正しく指していた。

並んだ引用番号の先にあったのは、半年前に役目を終えた規程だった。

拙著『GoogleのAI NotebookLM 意思決定の強化書』の2章1節に、資料を全部入れずに絞り込む方法と、真偽と鮮度の責任は人に残るという話を書きました。読むと、自分の照合の仕組みのどこで鮮度や食い違いを見落としうるかを考えられます。

同じ資料を見ているのに、なぜ結論が割れるのか。

GoogleのAI NotebookLM 意思決定の強化書 表紙

『GoogleのAI NotebookLM 意思決定の強化書』

前提が結論を決める。意思決定を根拠、前提、結論の三層に分け、前提を対象、目的、制約、評価基準の四つで言葉にする本です。

読み終えたとき、手元に残るもの

  • 意思決定の設計図になる前提リスト
  • 資料を事実、意見、噂、ゴミに仕分けるFORT
  • 同じ物差しで比べる選択肢表と採点表
  • 始める条件と止める条件を書いた決定書

NotebookLMは2026年7月にGemini Notebookへ名称が変わりました。本の手法は、使うAIの種類を問いません。

Amazonで見る

出典

著者プロフィール・お問い合わせ