マルチヘッドは観点を割り当てない、八つに分けても八つの視点になる保証はない

部署から一人ずつ呼んで八人の会議にしたのに、出てきた意見は実質二つだった。人数を増やせば観点が増える、という期待が外れるのは、観点が人数ではなく、それぞれが何を見るよう求められたかで決まるからで、マルチヘッドアテンションにもこれとよく似たことが起きます。この記事では、ヘッドが何を分け、何を分けないのかを確かめ、ヘッドの役割が誰によって決まるのかを考えます。

分けるのはベクトルの次元で、文は分けません

マルチヘッドアテンションは、ヘッドごとに専用の重み行列でクエリ（Q）、キー（K）、バリュー（V）を作り、ヘッドごとに独立してアテンションを計算する手法です。埋め込みが512次元でヘッドが8個なら、各ヘッドのQ、K、Vは64次元です。各ヘッドはクエリとキーの内積をスケーリングしてソフトマックスにかけ、その重みでバリューを混ぜます。最後に全ヘッドの出力を横に並べて連結し、線形変換で512次元に戻します。

誤解されやすいのは、何を分けるかです。分けるのはベクトルの次元で、文は分けません。トークンが10個なら、どのヘッドも、10個のクエリと10個のキーのすべての組み合わせを計算します。どのヘッドも文全体を見ています。

文法担当、意味担当という名札は、誰も付けていません

解説では、あるヘッドは文法的なつながりを、別のヘッドは意味の近さをとらえる、と説明されることがあります。しかし、設計の段階でヘッドに役割を割り当てる仕組みはありません。ヘッドどうしの違いは、初期値と、学習で決まった重み行列の値だけです。特定の関係に反応するヘッドが見つかることはありますが、それは学習を終えたモデルを後から観察して付けた名札です。

組織図に役割を書けば役割が生まれる、と考えるのは人の組織でもよくある思い込みですが、ヘッドには組織図すらありません。役割が書かれていない場で専門が分かれるかどうかは、学習の成り行き次第だからです。実際、多くのヘッドが似たパターンを学習してしまうことがあります。

どのヘッドが何をしているのかを網羅的に説明する方法は、まだありません。名札が付けられるヘッドがある一方で、何をしているのか言葉にできないヘッドも多く、ヘッドの数と役割の数が対応しているのかどうかも分かっていません。

ヘッドを増やすほど、一つずつは浅く、似た者どうしが増えます

ヘッドは多いほどよいわけではありません。埋め込みが512次元でヘッドを32個にすると、各ヘッドは16次元しか持てず、一つのヘッドで捉えられる特徴の複雑さが限られます。アテンションの重みの行列はヘッドの数だけ要るので、計算とメモリの負担も増えます。そして、似たパターンを学ぶヘッドが増えれば、数を増やしても性能は上がりません。ヘッド数は、埋め込みの次元との釣り合いを見ながら、実験で決めるのが基本です。理論から最適な数を導く方法は、今のところありません。

AIに観点を分けさせるなら、名札を付けるのは人です

同じ資料を、リスクの観点で、費用の観点で、読み手の観点で、と分けて読ませてから統合させると、一度に全部見て、と頼むより見落としが減ることがあります。ここで、ヘッドとの違いが一つあります。ヘッドの観点は学習の成り行きで決まりますが、依頼文の観点は、人が名前を付けて指定します。名前を付けられない観点は、八人の会議と同じく、似た意見の重複になりやすいのです。

観点を十二個並べたチェックリストが、三個目あたりから同じことを違う言葉で言い始めるのも、同じ理屈です。観点の名前が、何を良しとするかという評価基準から出ていなければ、数は増えても見る先は増えません。とはいえ、観点を名指しすれば必ず見落としが減る、とも言えません。名指しした観点の外にある問題は、名指ししたことで、かえって見えにくくなる場合もあるからです。

自分の仕事に当てはめるなら、次を考えてみてください。あなたがAIや会議で使っている観点のリストのうち、実際には同じことを見ている組はどれでしょうか。そのリストの外に、まだ名前の付いていない観点はないでしょうか。

この記事の背景にある考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の4章3節「意思決定をAIで行うには？」に書きました。選択肢を作る、評価基準を設定する、評価を実施する、という三つのステップで、評価基準は意思決定者自身が設定し、AIはその基準に従って評価する、という役割分担を、介護施設選びの例で示しています。基準を大まかにすると汎用性は上がるが細かな判断に向かず、細かくしすぎると適用できる範囲が狭まる、として、そこには「そのため、評価基準は、意思決定の目的に応じて適切に調整する必要があります。」とあります。この節を読むと、観点のリストを作るとき、その一つ一つが何を良しとする基準から出ているのかを、自分で確かめられるようになります。