社内の質問に答えるAI、あなたの会社は大丈夫か:在宅勤務の上限日数を聞かれ、AIは改定前の日数を答えた

総務の担当者が、社内の質問に答えるRAGを作った。

就業規則は、旧版と改定後の版を両方入れた。

社員が、在宅勤務の上限日数を聞いた。

RAGは、旧版の日数を答えた。

担当者は、検索の仕組みを替えようとした。

原因は、もっと手前にあった。

では、旧版の日数はどこから紛れ込んだのか。

RAGインデックスの正体は、意味で引く索引だ

本の巻末の索引は、語句の一致でページを探し当てる。

RAGインデックスは、意味の近さで引く。

RAG(検索拡張生成)は、資料を探してから答えを書くAIの仕組みだ。RAGインデックスは、質問に関係する箇所を大量の資料から探すための索引である。

作るときは、資料をチャンクと呼ぶ塊に分ける。

文章を数に置き換える仕組み(エンベディングモデル)で、チャンクを数の並び(ベクトル)に変える。

ベクトルは、専用の保管庫(ベクトルデータベース)に入れる。

探すときは、質問も同じ仕組みでベクトルにする。

近いチャンクを取り出し、答えを書く部分(生成器)に渡す。

資料をチャンクに分け、ベクトルにしてデータベースに格納します。質問もベクトルにして近いチャンクを探し、取り出した資料で答えを書きます

総務の担当者が入れた二つの版も、同じ手順で索引に並んだ。

意味で探す索引は、なぜ旧版を連れてくるのか

言い回しが違っても、同じ内容の箇所を見つけられる。意味で探す索引の強みだ。

強みは、弱点にもなる。

旧版の就業規則と改定後の就業規則は、文章の意味がほぼ同じだ。

二つの版は、ベクトルの空間で隣に並ぶ。

検索器は、どちらも関連が高いと見積もる。

冒頭のRAGが旧版の日数を答えたのは、検索器の手落ちではない。索引の性質どおりに動いた結果だ。

社員が改定前の日数を信じて在宅勤務を申請したら、誤りの出どころは総務の作ったAIになる。

取り出す資料を増やせば、改定後の版も拾えるのではないか。そう考えたくなる。

イリノイ大学とGoogleの研究者らは2024年、取り出す資料の数を変えて答えの質を比べた。

答えの質は、資料を増やすといったん上がり、増やし続けると下がった。

下がった原因の多くは、関連がありそうに見えて実は役に立たない資料だった。

改定前の就業規則は、まさに関連がありそうに見える資料である。

カラクリは単純だ。RAGの答えの質は、検索の性能より先に、資料の切り方と選び方で決まる。

有効な版を選び分ける方法は、二つある。

一つは、日付や版の付帯情報(メタデータ)で絞り込む設定。もう一つは、旧版を外しておく決定だ。

旧版を外す決定は、入れる量を絞る決定でもある。

チャンクの切り方はここで差がつく

切り方を誤ると、別の取りこぼしが起きる。

規則を一条ずつ切ると、ただし書きが別のチャンクに分かれる。

在宅勤務の条文にただし書きがあれば、本文の日数だけが答えに出ることがある。

本文だけが検索に引っかかり、ただし書きが答えから抜けるからだ。

表を行ごとに切ると、見出しの行が離れる。

数字が何の数字かを示す手がかりが消える。

切る位置は、ただし書きと見出しが本文と同じ塊に入る位置にする。

どこで切れば意味が保たれるか。決めるのは、資料の中身を知っている人だ。

RAGの答えの質を決めるのは、資料をどこで切るかと、何を入れるかという二つの編集です。検索の性能を比べるのは、二つを決めた後です

質問の前に、根拠にする版を一文で書く

手元の資料をAIに読ませる道具は、開発者以外の人も使えるようになった。

どこで切るか、何を入れるかを決めるのは、使う人である。

AIに渡す前に、質問の根拠にする版と資料を一文で書く。

一文があると、似ている旧版が答えに混ざる場面が減る。

次のプロンプトのかっこの中を、自分の質問に書き換えて使える。

根拠にする資料:(例:就業規則 2026年4月改定版)
外した資料:(例:2024年版の就業規則、改定前の下書き)
質問:(例:在宅勤務は月に何日まで認められますか)
お願い:根拠にする資料だけで答えてください。引用元の条文番号を添えてください。

検索の仕組みを替える前に

検索の性能を比べるのは、資料の切り方と選び方を決めた後だ。

社員に改定前の日数を答えたAIに要ったのは、新しい検索の仕組みではなかった。

根拠にする版を書いた、一文だった。

この記事の考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の2章1節「ソースの品質がすべての土台」に書きました。この節を読むと、AIに渡す前に、どの資料を外し、どれを別々に読ませるかを、手元の資料で考えられるようになります。

同じ資料を見ているのに、なぜ結論が割れるのか。

GoogleのAI NotebookLM 意思決定の強化書 表紙

『GoogleのAI NotebookLM 意思決定の強化書』

前提が結論を決める。意思決定を根拠、前提、結論の三層に分け、前提を対象、目的、制約、評価基準の四つで言葉にする本です。

読み終えたとき、手元に残るもの

  • 意思決定の設計図になる前提リスト
  • 資料を事実、意見、噂、ゴミに仕分けるFORT
  • 同じ物差しで比べる選択肢表と採点表
  • 始める条件と止める条件を書いた決定書

NotebookLMは2026年7月にGemini Notebookへ名称が変わりました。本の手法は、使うAIの種類を問いません。

Amazonで見る

出典

著者プロフィール・お問い合わせ