AIの検索で、探したものと逆の声が混ざる盲点：「解約したい」で探したら、「解約を思いとどまった」声が上位に並んだ

担当者が、社内の問い合わせ記録をAIの検索にかけた。探したのは「解約したい」という声だった。

上位に並んだ記録に、「解約を思いとどまった」という声が混ざっていた。

故障ではない。検索の仕組みは、正しく動いていた。

結論が正反対の二つの声は、なぜ隣どうしに並んだのか。

暑いと寒いは、AIの地図で隣に並ぶ

「暑い」と「寒い」は、反対の意味の言葉だ。ところが、AIの中の言葉の地図では、二つは近くに置かれやすい。

二つの言葉を囲む言葉を並べてみる。今日は、とても、季節、気温。

並んだ言葉は、ほぼ同じ顔ぶれだ。

「犬」と「猫」も同じである。飼う、えさ、散歩、かわいい。

二つとも、同じ言葉と一緒に出てくる。

モデルは、同じ言葉に囲まれた言葉どうしを空間の近くに置く。反対の意味の言葉も近くに置きやすいのは、研究者がよく知る性質である。

近さの程度は、モデルと学習のしかたで違う。近さと意味の一致は、別のものだ。

地図の上の隣人は、意味の仲間とは限らない。

ベクトル空間の近さの正体は、使われ方の近さだ

ふだん、意味が近いと言えば、言い換えがきくことを指す。

ベクトル空間の近さは、別のものを測る。二つの言葉が、どれだけ似た言葉と一緒に出てくるかである。

土台には、一つの考え方がある。似た文脈に現れる言葉は、似た意味を持つ。

大規模言語モデル（LLM）は、言葉を数百から数千の数の組（ベクトル）に変える。変えた言葉を、広い空間の一点に置く。

言葉を数の組に変える技術を、エンベディング（埋め込み）と呼ぶ。

地図の位置は、東西と南北の二つの数で決まる。768次元の空間なら、768個の数で一つの言葉の位置が決まる。

2013年に、MikolovらがWord2Vecを提案した。

「王」から「男」を引いて「女」を足すと、「女王」に近くなる。Word2Vecで有名な計算だ。

使われ方が似ていれば、意味が逆でも隣に来る。解約の二つの声も、同じ言葉に囲まれていた。

思いとどまった、の一語を足しても、声の位置は半歩しか動かない

いまのLLMは、同じ言葉でも、前後の文脈によって違う位置に置く。電話を「かける」と眼鏡を「かける」は、別の位置に置く。

解約の声も、前後の言葉で位置が少し動く。

ところが、思いとどまった、の一語が加わっても、周りの言葉の大半は同じだ。二つの声は、近い位置にとどまる。

一語で結論が逆転しても、声の位置は地図の上で半歩しか動かない。

ベクトルで探す検索は、二つの声を、同じくらい近い候補として並べることがある。反対の内容が上位に混ざっても、仕組みは正しく動いている。

上位の結果をそのまま数えれば、解約したい声の数に、逆の声が紛れ込む。

仕組みが正しいぶん、誤りは表に出ない。故障なら気づけるが、正しい動きの中の混入には気づきにくい。

結論を逆にする言葉は、自分で書いて渡す

AIは、こちらの言葉を置いた位置の周りから、答えを組み立てる。

打ち消し、条件、立場。三つとも、使われ方が似ていても結論を逆にする要素である。

あいまいな言葉のままだと、位置の違いはわずかだ。

何を探したいのか。どちらの立場の資料がほしいのか。

二つの問いへの自分の答えを、前提として一文で書いて渡す。

次の文面のかっこの中を書き換えて使う。

（例：問い合わせ記録）から、（例：解約したいという声）を探してください。
探す声：（例：これから解約を申し込む意思のある声）
外す声：（例：解約を思いとどまった声、解約の手続きを質問しただけの声）
並べ方：（例：一件ずつ、探す声に当たる理由を一行で添える）

外す声を書く一行が、地図の上の半歩を補う。答えがどこまで変わるかは、試して確かめる。

AIに探しものや答えを頼むときは、三つを書いて渡す。探すもの、外すもの、立場だ。

「解約したい」の隣に、いた声

「解約したい」の隣にいたのは、「解約を思いとどまった」声だった。地図は、使われ方の近さで正しく並べていた。

外す声を一行書くだけで、隣人を上位から外す手がかりになる。

この記事の考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の2章1節「プロンプトの重要性と設計方針」に書きました。この節を読むと、否定や条件や立場のように伝わりにくい要素を、プロンプトのどこで言葉にするかを考えられるようになります。