LLMで意味をとらえているのは埋め込み、コサイン類似度は定規にすぎない

LLMで意味の近さを測るなら、コサイン類似度。そう説明されるとき、意味をとらえているのはコサイン類似度だ、という印象が残ります。実際に意味をとらえているのは埋め込みのほうで、コサイン類似度は、そこに当てる定規にすぎません。定規をほめても、目盛りの刻み方は良くならないのと同じです。この記事では、コサイン類似度が何を測っているのかを押さえ、LLMで重宝される理由を、定規の側と、測られるベクトルの側に分けて整理します。

LLMは、言葉をベクトルに変えてから比べます

LLMは、単語や文を、数百から数千の数字が並んだベクトルに変換して扱います。この変換を埋め込み（Embedding）と呼びます。学習の結果、意味が近い単語や文は、ベクトルの空間でも近い方向を向くようになります。

コサイン類似度は、二つのベクトルがなす角度のコサインです。内積を、それぞれの長さの積で割って求めます。向きがそろえば1、直角なら0、正反対ならマイナス1に近づきます。長さで割るので、大きさの違いは打ち消され、向きだけが比べられます。

言い換えを拾えるのは、定規ではなく埋め込みの手柄です

料金を知りたい、と、いくらかかるか教えて、は、使う単語も語順も違いますが、意味はほぼ同じです。この二文の類似度が高く出るのは、埋め込みのモデルが、この二文を近い方向のベクトルに変えるように学習しているからです。同じ二文を、単語の出現回数を数えただけのベクトルにしてコサイン類似度を測れば、共通の単語がほとんどないので、低い値になります。

単語どうしの関係の分析も同じです。類義語を探したり、文脈に応じた単語の意味を推定したりできるのは、単語埋め込みが意味の近さを位置に映しているからで、コサイン類似度は、その位置関係を数字に読み取っているだけです。言い換えに強いのはコサイン類似度だ、という説明は、体重計のおかげで痩せた、と言うのに近い。変わったのは測られる側だからです。

定規の側の利点は、計算の軽さです

定規としてのコサイン類似度の利点は、計算が軽いことです。中心になるのは掛け算と足し算でできる内積で、比べる文書が何万件あっても処理しやすい。とくに、ベクトルをあらかじめ長さ1にそろえておけば、内積を求めるだけで済みます。

長さ1にそろえたベクトルどうしでは、もう一つ大事なことが起きます。コサイン類似度が高い順と、ユークリッド距離が近い順が、まったく同じになるのです。長さ1のベクトルでは、距離の2乗が、2から類似度の2倍を引いた値に等しいからです。多くの埋め込みのモデルは、長さをそろえたベクトルを返すとされています。その場合、コサインか距離か、という選択は、検索の順位を変えません。

コサインと距離の違いを熱心に比べる説明は、長さがそろっていないベクトルの話としては正しく、そろったベクトルの話としては、同じ順位の二つの言い方を比べていることになります。手元の埋め込みが長さをそろえているかを先に確かめれば、この議論に時間を使うべきかどうかが分かります。

意味で探す検索に、まだ分からないことがあります

コサイン類似度がもっとも身近に働いているのは、意味で探す検索です。質問文と手元の文書をそれぞれベクトルに変え、質問に向きが近い文書を候補として取り出します。似た問い合わせをまとめる、重複した文書を見つける、文書をテーマごとに分ける、といった作業も同じ考え方です。

ただ、向きが近い文書が、質問に本当に答えている文書とは限りません。質問とよく似た言葉で反対のことを書いた文書も、近くに並びえます。どの埋め込みが、どんな種類の文書で、どこまで意味を正しく映すのかは、モデルと文書の組み合わせごとに違い、一般的な答えはまだありません。自分の文書で試して確かめるほかない部分が、大きく残っています。

あなたがAIに資料を探させる仕組みを使っているなら、その仕組みはどの埋め込みのモデルを使っているでしょうか。それが自社の文書で意味を正しく映しているかを、誰か確かめたでしょうか。

この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の2章2節「ソースを作る」に書きました。AIの答えが信用できないと感じるとき、原因の多くは渡した資料の側にあり、ファイルの形式や名前や表の作りを整えるだけで、読み違いや手戻りが減る、という話です。そこには「「読み込める」ことと「内容を正確に理解する」ことは異なります。」とあります。この節を読むと、AIが資料を探して返してきたとき、それが質問に答えている資料なのか、似た言葉で書かれているだけなのかを、自分の資料で確かめる目を持てるようになります。