埋め込みベクトルの長さに意味があるかは比べ方で決まる

埋め込みベクトルの長さに意味はあるのか。向きは意味、長さは重要度、と一行で言い切る説明は覚えやすい代わりに、比べ方を選んだ瞬間に半分が無効になります。コサイン類似度で比べれば長さは割り算で捨てられ、内積で比べれば長さが効くからです。この記事では、向きと長さの役割を、モデルの側からだけでなく、使う側がどの物差しで比べるかの側から整理します。

トークン埋め込みは、意味の近さを位置関係に置き換えます

トークン埋め込みは、単語やサブワードなどのトークンを数値のベクトルに変える処理です。目的は、トークンどうしの意味の近さを、ベクトル空間の中の位置関係として保つことです。Word2Vec、GloVe、BERTなど手法はさまざまですが、どれもトークンを高次元のベクトルで表し、ベクトルには向き（方向）と長さ（ノルム）があります。

向きが意味を担うことは、よく確かめられています

向きは主に意味の情報を担います。二つのベクトルの向きの近さはコサイン類似度で測れ、「犬」と「猫」、「王様」と「女王」のような組は似た方向を持つことが期待されます。

向きは語と語の関係も表します。Word2Vecでは、「王様」から「男」を引き、「女」を足すと「女王」に近いベクトルになる、という類推の計算ができます。「男」から「女」へ向かう方向が、「王様」から「女王」へ向かう方向と似ているからです。

長さの意味は、モデルごとにまちまちです

長さには共通の答えがありません。一部の手法では「the」「a」のような頻出語のベクトルを短くし、専門用語や固有名詞を長くして、頻出語の影響を抑えます。逆に、頻度の高い語を長くするモデルもあります。ある文脈での意味にモデルが強く確信していると長くなる、という見方もありますが、どのモデルにも当てはまる規則ではありません。

物差しを選んだ時点で、長さを使うかどうかが決まります

物差し	長さの扱い	結果への影響
コサイン類似度	長さで割って捨てる	向きだけで決まる
内積	そのまま掛け合わせる	長いベクトルほど値が大きくなる
ユークリッド距離	位置の差として含める	向きと長さの両方が効く

同じ埋め込みでも、コサイン類似度で検索すれば長さの情報は使われず、内積で検索すれば長いベクトルが上位に来やすくなります。長さが重要度を表すモデルを使っていても、コサイン類似度で比べる限り、その重要度は結果に出てきません。逆に、すべてのベクトルの長さを1にそろえる（正規化する）と、三つの物差しの順位は一致します。長さ1のベクトルどうしでは、距離の二乗が「2 − 2 × コサイン類似度」になるからです。

物差しを決めずに、長さに意味があるかを議論するのは、評価基準を決めずに人事評価の会議を始めるのと同じで、全員が正しく、何も決まりません。拙著『GoogleのAI NotebookLM 意思決定の強化書』では、同じデータから真逆の結論が出るのは前提が違うからだと整理し、前提の四要素の一つに評価基準を置いています。長さに意味があるかという問いは、どの評価基準で比べるかを決めて初めて答えが出ます。

Transformerでは、向きが文脈で変わり、長さは整えられやすくなります

BERTやGPTのようなTransformerベースのモデルでは、トークンの表現に位置の情報と、注意機構を通じた文脈が加わります。同じ単語でも文脈が違えば違う向きになります。一方で内部では層正規化などで値のスケールが整えられるため、長さが担える情報は小さくなりがちです。

ただし、これは傾向であって規則ではありません。正規化しない内積で検索する設計をとり、長さを意図して情報として使うモデルや検索システムもあります。その場合、長さを無視した説明は誤りになります。手元の仕組みがどの物差しを使っているかを確かめるまでは、どちらとも言えません。

AIに、重要度を考慮して並べて、と頼むときも同じ構造があります。重要度を測る物差しを言わなければ、AIは手持ちの一般論で物差しを補います。金額の大きさか、期限の近さか、影響する人数か。物差しを一つ名指しすると、並び順の理由をこちらが検証できるようになります。

あなたが使っている社内検索やAIの仕組みは、どの物差しで近さを測っているでしょうか。それを知らずに、検索結果の順位を判断の根拠に使っていないでしょうか。

この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の4章3節「理念書と評価基準を作る」に書きました。評価基準を、何を評価するかという評価軸と、どれをどの程度重く見るかという重み付けで作る節で、基準の名前があいまいなまま立てる、重みが横並びになる、といったよくある失敗も挙げています。そこには「理念は抽象的なもので、評価基準は具体的なものです。」とあります。この節を読むと、近い順に、重要な順に、と頼む前に、その近さや重要さをどの物差しで測るのかを、自分の言葉で一つ名指しできるようになります。