アテンション重みは重要度ではなく配分、数値例の結論は仮定で決まる

0.647。「私は 学校へ 行きます」の数値例で、「私」が自分自身に向けるアテンション重みです。この数字を見て、モデルは主語を重視している、と読むのは、自分で書いた台本を役者に読ませて、その解釈の深さに感心するようなもので、実はこの結論は言葉からではなく、例を作るときに置いた仮定から出ています。この記事では、アテンション重みの計算と意味を確かめたうえで、重みを読むときの落とし穴を示します。

アテンション重みは、クエリとキーの内積から三段階で作られます

各トークンの入力ベクトル X に別々の重み行列を掛けて、クエリとキーを作ります。

Q ＝ X W^Q、K ＝ X W^K

トークン i のクエリと、トークン j のキーの内積がスコア e_ij です。

e_ij ＝ Q_i ・ K_j

スコアをキーの次元数 d_k の平方根で割り、トークン i のスコアの並びにソフトマックス関数をかけたものが、アテンション重み α_ij です。

α_ij ＝ exp(e_ij ÷ √d_k) ÷ （同じ i についての exp の合計）

重みはどれも0以上で、一つのクエリについての合計は必ず1です。トークン i の出力は、この重みでバリューを混ぜた C_i ＝ Σ_j α_ij V_j になります。

合計1の配分なので、高い重みは重要ではなく、相対的にまし、という意味です

合計が必ず1になるということは、関係の深い語が一つもない場合でも、重みはどこかに配られるということです。予算を必ず使い切る部署の配分表から、どの事業が重要かを読み取ろうとするのと同じ落とし穴がここにあります。使い切ることが先に決まっている配分は、重要度ではなく、候補の中での相対的な順位しか表さないからです。

重みを、モデルがその語を重要だと判断した理由として読む使い方も、慎重さが要ります。重みが高い語を取り除いても答えが変わらない、という現象が報告されることもあり、重みがモデルの判断の根拠をどこまで表しているのかは、研究者の間でも見方が割れています。

数値例の0.647は、言葉ではなく仮定から出ています

数値例では、埋め込みを 私 [1, 0, 1, 0]、は [0, 1, 0, 1]、学校へ [1, 1, 0, 0]、行きます [0, 0, 1, 1] とし、W^Q、W^K、W^V をすべて同じ4行2列の行列（1列目が1、0、1、0、2列目が0、1、0、1）とします。すると、Q、K、Vは、私 [2, 0]、は [0, 2]、学校へ [1, 1]、行きます [1, 1] です。「私」のクエリと各キーの内積は 4、0、2、2で、√2 で割ってソフトマックスをかけると、次の重みになります。

注目先	私	は	学校へ	行きます
重み	0.647	0.038	0.157	0.157

W^Q と W^K を同じ行列にすると、クエリとキーは同じベクトルになります。同じベクトルどうしの内積は、長さの近い別のベクトルとの内積より大きくなりやすいので、各トークンが自分自身に最も強く注目するという結果は、計算する前から決まっていたことになります。「は」にほとんど注目しないのも、助詞を軽んじたからではなく、仮の数字で [2, 0] と [0, 2] がたまたま直交していたからです。

同じ計算でも、前提を変えれば結論が変わります。実際のモデルでは W^Q と W^K は別々に学習されるので、自分自身に最も強く注目するとは限りません。数値例は計算の手順を見せるためのもので、言葉についての結論を読み取るためのものではないのです。

二つの重みを、混同しないようにします

用語として最も混同しやすいのは、モデルの重みとの区別です。W^Q、W^K、W^V のようなモデルの重み（パラメータ）は、学習で決まり、使う段階では変わりません。アテンション重み α_ij は、入力が来るたびに計算し直される配分です。同じ「重み」でも、一方は固定された計算の規則、もう一方はその規則が入力ごとに出す結果です。重みを調整した、と聞いたら、どちらの話かを確かめる必要があります。

自分の仕事に当てはめるなら、次を考えてみてください。あなたが最近見た分析の数字のうち、結論が計算の前提で先に決まっていたものはないでしょうか。その前提は、数字と一緒に書かれていましたか。

この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章3節「前提と定義が結論を決める」に書きました。赤字のスタートアップの買収で、シナジーを定義しなければ定石どおりの見送りに、広く定義すれば積極推奨に、狭く定義すれば回収に十数年かかるとして見送りに、AIの結論が分かれる事例を載せています。そこには「前提が具体化できれば、取り得る結論の範囲はおのずと定まります。」とあります。この節を読むと、分析の数字を見たとき、その結論が計算より手前のどの前提と定義で決まっていたのかを、自分で問えるようになります。