「新しい版を優先」と教えたAIの末路：出張手当の質問に、承認前の改訂案で自信を持って答えた

社内の規程集を、AIに読ませた。食い違ったら最新版を採る、というルールも入れた。

社員が、出張の手当を質問した。

AIは、新しい版の記述で、自信を持って答えた。

新しい版は、承認前の改訂案だった。

ルールは、書いたとおりに動いた。それでも答えは外れた。どこで道を外れたのか。

改訂案にも、いちばん新しい日付の札が付いていた

改訂案が選ばれた理由は、資料に添えた札にある。改訂案の札にも、いちばん新しい版と日付が書いてあった。

図書館の本の背には、分類の番号を書いた札が貼ってある。

データを説明するデータを、メタデータと呼ぶ。資料に添える札のことだ。

社内資料を探して答えるAIの仕組みを、RAG（検索拡張生成）と呼ぶ。

RAGでは、資料や、資料を分けた断片（チャンク）の一つずつに札を添える。

札には、題名、版、発行年、信頼度、分野、登録日時などを書く。

札の役目は、検索が見落とす情報を補うことだ。

RAGが資料を探す仕組み（ベクトル検索）は、意味の近さだけを見る。新しさ、信頼度、分野は、検索の外に残る。

古い文書と新しい文書の記述が食い違えば、AIの答えに両方が混じる。目的と違う分野の文書も混じる。

札は、検索の優先順位に使って初めて効く。札を読むルールを誤れば、札は誤った版を上へ押し上げる。

優先ルールは、なぜ崩れるのか

カラクリは、ルールの側にある。どの優先ルールも、前提を一つずつ抱えている。

食い違ったら最新版を採る。このルールは、新しい版ほど正しいという前提に立つ。

改訂で誤りが入った版や、承認前の案の前で、前提は崩れる。冒頭の規程集で起きたのは、まさにこの崩れ方だった。

RAGの優先ルールは、人の前提を前もって書き込んだものだ。

公式の資料を高く評価する。このルールは、公式の発信は事実だという前提に立つ。

ところが、公式発表の中の予測や方針は、事実より意見にあたる。

更新日が新しいものを優先する。このルールは、更新日が内容の新しさを表すという前提に立つ。

誤字を直しただけで、更新日が新しくなる古い内容もある。前提は、そこで崩れる。

点数を付けた人の見方が、そのままAIの自信になる

査読済み論文は5点、個人ブログは2点。そんな点数表を作ったとする。

点数表は、点数を付けた人のものの見方を、システムに写す。

厄介なのは、前提が崩れる場面でも、ルールが同じ確信の強さで動くことだ。

正しい古い版を捨てる。誤った新版を採る。迷いはない。

冒頭のAIの自信は、AIのものではなかった。ルールを書いた人の確信が、AIの口から出ただけだ。

答えを受け取る人は、書いた人の前提が入っていると知って読む必要がある。

AIには、もう一つの癖もある。食い違う資料を両方渡すと、一つのもっともらしい答えにならしてしまう。

ならされた答えからは、食い違いがあったことさえ読み取れない。

ルールの前に、何を事実とみなすかを書き出す

そこで、優先ルールの前に一段を足す設計がある。矛盾を見つけたら、答えを作る前に両方の記述を示す段だ。

優先ルールは、AIに渡す前提である。ルールを書く前に、二つの問いに答えを書く。

一つ目の問い。新しい版より古い版を正とすべき資料はどれか。

二つ目の問い。公式の資料のどこが事実で、どこが意見か。

書き出した答えを、ルールの但し書きとしてプロンプトに足す。次の文面のかっこの中を、自分の資料に書き換えて使える。

あなたは、（例：社内の規程集）について答える担当です。
資料が食い違うときは、新しい版を優先します。
ただし、（例：表紙に承認前と書かれた版）は、優先の対象から外します。
公式の資料のうち、（例：見通し、予測、方針の段落）は、意見として扱います。
食い違いを見つけたら、答えを作る前に、両方の記述と版を並べて示してください。

出張手当の答えは、どの版から返るか

優先ルールが崩れる場面は、前提を言葉にした人にだけ見える。

何を事実とみなすか。決めるのは、AIに資料を渡す人だ。

AIが自信を持って読み上げた改訂案。誤ったのはAIではない。最新版を正しいと思い込んだ人の前提だった。

冒頭の規程集なら、承認前の改訂案を優先の対象から外す但し書きを一行足す。

同じ社員が、同じ出張の手当を尋ねる。答えは、承認済みの版から返ってくる。

この記事の考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の2章4節「ソースを仕分ける」に書きました。この節を読むと、自分の優先ルールが何を事実とみなしているのかを、自分で点検できるようになります。