埋め込み行列は意味の辞書ではなく、文脈が入る前の出発点です

この単語のベクトルを見ればAIがその語をどう理解しているか分かる、という説明は、履歴書の写真を見れば入社後の働きぶりが分かる、という説明と同じくらい手前で止まっています。埋め込み行列の行は文脈が入る前の出発点で、モデルの理解はその後の層で作られるからです。この記事では、埋め込み行列の定義と作り方を押さえ、よく混同される埋め込みAPIのベクトルとの境目を示します。

埋め込み行列は、IDで行を引く表です

埋め込み行列（Embedding Matrix）E は、V 行 d 列の数の表です。V は語彙の数、d は埋め込みの次元数で、i 行目が語彙の i 番目の語を表す d 個の数の並びです。

計算としては、i 番目だけが1で残りが0のベクトル（ワンホット表現）に E を掛けると i 行目が取り出されます。実際には掛け算をせず、IDで行を直接引きます。語彙の数だけの次元を持つワンホット表現より、ずっと少ない次元で表せるので、計算もメモリも軽くなります。

行の値は、最初はランダムに置くか、Word2Vec、GloVe、fastTextのような学習済みの埋め込みを借りて始め、学習を通じて調整します。学習が進むと意味の近い語ほど近くに並び、「猫」と「犬」の行は近くに来やすくなります。推薦システムでユーザーとアイテムを同じ空間に置くときも同じ仕組みです。語彙が大きいと表は V × d で膨らむので、低ランク近似やハッシュ埋め込みといった対策も研究されています。

LLMの中では、同じ語の行はいつも同じです

埋め込み行列の行は文脈で変わりません。英語の bank が川岸でも銀行でも、同じIDなら入口のベクトルは一つです。Word2VecやGloVeのような静的な埋め込みが多義語を区別できなかったのは、この入口の表だけで意味を表そうとしていたからです。

BERTやGPTのようなモデルは、入口の表はそのままに、自己注意の層を通るたびに周りの語の情報を混ぜ込み、同じ語でも文によって違うベクトルに変えていきます。意味の違いは、表ではなく層の計算で生まれます。ただし、どの層でどんな意味が入るのかは解釈の研究が続いている途中で、まだ部分的にしか分かっていません。GPT-2のように、入口の表を出口でも使い回し、最後のベクトルを語彙のどの語に近いかへ戻す設計のモデルもあります。

埋め込みAPIが返すベクトルは、この表の行ではありません

文章を送るとベクトルが返ってくる埋め込みのサービスがあります。名前は同じでも、返ってくるのは表の一行ではなく、文章全体をモデルの層に通し、文脈を織り込んだ結果をまとめた文章ごとのベクトルです。

項目	埋め込み行列の行	埋め込みAPIのベクトル
単位	一つのトークン	文や文書の全体
文脈	入っていない	入っている
主な使い道	モデルの入口	検索、分類、似た文書の発見

同じ名前なら同じもの、という前提で書かれた社内の説明資料は、読む人の頭の中で二つの別物を一つに溶かします。名前が同じでも、単位と文脈の有無が違えば、できることも測れることも違うからです。資料で埋め込みと書くときは、どちらの意味かを一語添えます。

一語の意味は周りで決まるので、一語で頼みません

入口の表で一語に一つのベクトルしかない以上、戦略をまとめて、とだけ書いた依頼は、表の一行を渡してあとはよろしくと言っているのに近い状態です。層の計算で混ぜ込む文脈がなければ、モデルは学習データで一番ありふれた意味で空白を埋めます。目的、前提、期待する形を添えるほど、混ぜ込まれる文脈が増え、狙った意味の近くで答えが組み立てられます。

ただし、意味が一つに決まる語で、誰が頼んでも答えが同じでよい一般的な仕事なら、一語の依頼でも足ります。添える手間が効くのは、その語の意味が部署や場面で変わるときです。

あなたがAIへの依頼でいつも一語で済ませている言葉は、部署によって意味が変わらないでしょうか。社内で埋め込みという語が出たとき、話し手と聞き手は同じほうの意味を思い浮かべているでしょうか。

この記事の背景にある考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の2章2節「プロンプトの基本要素」の、必須要素である対象と指示の話に書きました。対象は名詞で示し、名詞を重ねる、形容詞などの連体修飾語で性質を補う、分量や手法を指定する、の三つで具体化する、という話で、京都旅行プランにリーズナブルな、と添える例を挙げています。そこには「対象を表す名詞選びでAIの回答がガラッと変わるので、慎重に選びましょう。」とあります。この節を読むと、自分がいつも一語で済ませている依頼の名詞に、どんな修飾を添えれば部署ごとの意味の違いを消せるかを、自分で考えられるようになります。