担当者が、NotebookLMにフランスの首都を聞いた。
ノートブックに入っていた資料は、旅行記一冊だった。
NotebookLMは、資料の範囲外だと返した。担当者は、故障を疑った。
だれでも知っている答えを、AIが返さない。壊れていないなら、何が起きていたのか。
なぜNotebookLMは、首都の質問に答えないのか
故障ではなかった。設計どおりの動きである。
NotebookLMは、答える範囲を入れた資料の中に閉じている。閉じた作りが、範囲外という返事を生む。
一般的なAIは、公開ウェブの情報も答えの根拠にする。
NotebookLMは、オープンなインターネットとモデルの一般知識を、答えの根拠にしない。
答える根拠は、利用者が選んだ資料だけ。
資料がよく、検索がうまく働けば、回答は高い信頼性を持つ。答えが資料の外にあれば、範囲外と返る。
旅行記に、フランスの首都を説明した箇所はなかった。範囲外の返事は、正直な返事だった。
分かる範囲を正直に言う部下になら、仕事を任せられる。
答えが出るまでの手間より、間違った答えの後始末のほうが高くつく。
答えを資料につなぎ留める仕組みの正体
NotebookLMの答えは、引用をたどると資料の箇所に行き着く。
答えを利用者が選んだ資料（ソース）につなぎ留める性質を、ソースグラウンディングと呼ぶ。
グラウンディングは、AIのあるべき姿を表す言葉だ。あるべき姿を実現する仕組みの一つが、RAG（検索拡張生成）である。
RAGは、2020年5月にPatrick Lewisらが論文で提案した構成だ。
論文では、Wikipediaを検索する仕組みと、文章を書くモデルを組み合わせた。
仕組みは三段に分かれる。まず、資料を小さく分けて、検索できる形にする。
次に、質問に近い断片を取り出す。断片は、質問と一緒に言語モデルへ渡る。
最後に、言語モデルが断片をもとに回答を書く。
車にたとえると、RAGはエンジンだ。グラウンディングは、乗る人が感じる走りの確かさに当たる。
Googleは、開発者向けのVertex AIでは、RAGという技術用語を使う。
利用者向けの製品では、ソースグラウンディングという言葉を前に出している。
ただし、閉じた作りにも弱点はある。入れた資料が古いか誤っていれば、AIは誤りを根拠に堂々と答える。
閉じた世界の正しさは、入れた資料で上限が決まる。
範囲外を故障と思い込む人は、堂々とした誤答のほうを信じてしまう。
おかしな答えの原因は、三つに切り分けられる
引用をたどれば、原因は三つに切り分けられる。
範囲外と返ったときの原因は、一つ目か二つ目だ。答えが返ったのに疑わしいときの原因は、三つ目である。
一つ目は、資料に記述がゼロの場合。資料を足すか、資料から答えられる問いに変える。
二つ目は、資料に記述があるのに、検索が取りこぼした場合。質問を言い換える。
三つ目は、答えが返ったのに疑わしい場合。引用元の資料が古いか誤っている。
古い資料や誤った資料は、差し替える。
問いの形で、返事は変わる
フランスの首都を聞く代わりに、旅行記の著者がパリをどう感じたかを聞く。
旅行記には、著者の感想が書いてある。資料から答えられる問いになる。
何を入れ、何を問うかを決めるのは、使う人だ。
問いに抜けている前提を見つける役も、使う人が受け持つ。
質問には、確かめたいことを書き添える。次の文面のかっこの中を、自分の問いに書き換えて使える。
確かめたいこと：（例：旅行記の著者が、パリをどう感じたか）
お願い：入れた資料だけを根拠に答えてください。答えの一文ずつに、引用元の箇所を添えてください。資料の範囲外の点は、範囲外と書いてください。旅行記一冊のノートブックは、知らないと言えた
答えがおかしいと感じたら、引用をたどって原因を三つに切り分ける。
記述がゼロなら、資料を足すか問いを変える。検索の取りこぼしなら、質問を言い換える。
疑わしい答えの引用元が古いか誤っていたら、資料を差し替える。
旅行記にない首都を、旅行記一冊のノートブックは知らないと言った。
範囲外という返事は、旅行記一冊のノートブックが出せる、いちばん誠実な答えだった。
拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章2節「意思決定に役立つNotebookLMの機能」に、この記事の考え方を書きました。読むと、AIの答えのどの一文を、どこまで元の資料と照らして確かめるべきかを決められるようになります。
同じ資料を見ているのに、なぜ結論が割れるのか。
『GoogleのAI NotebookLM 意思決定の強化書』
前提が結論を決める。意思決定を根拠、前提、結論の三層に分け、前提を対象、目的、制約、評価基準の四つで言葉にする本です。
読み終えたとき、手元に残るもの
- 意思決定の設計図になる前提リスト
- 資料を事実、意見、噂、ゴミに仕分けるFORT
- 同じ物差しで比べる選択肢表と採点表
- 始める条件と止める条件を書いた決定書
NotebookLMは2026年7月にGemini Notebookへ名称が変わりました。本の手法は、使うAIの種類を問いません。
出典
- Grounding overview｜Generative AI on Vertex AI｜Google Cloud
- Google NotebookLM | AI Research Tool & Thinking Partner
- NotebookLM: An LLM with RAG for active learning and collaborative tutoring｜arXiv
- Application of NotebookLM, a Large Language Model with Retrieval-Augmented Generation, for Lung Cancer Staging｜arXiv
- Seven Failure Points When Engineering a Retrieval Augmented Generation System｜arXiv
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks（Lewis et al.、arXiv、2020年）