コンテクストベクトルの意味はモデルの時代で変わる、変わらないのはパラメータとの区別

コンテクストベクトルとは何か。この問いへの答えは、どの時代のどのモデルを前提にするかで変わります。定義を一つ暗記して安心するのは、発行年を確かめずに古い路線図で乗り換えを決めるようなものです。線路は引き直されているのに、手元の図だけが昔のまま残っているからです。この記事では、言葉の意味がモデルの変化とともにどう動いたかを追い、それでも動かない区別、つまりパラメータとの違いを確かめます。

最初のコンテクストベクトルは、一本のベクトルでした

この言葉が広く使われ始めたのは、RNN（再帰型ニューラルネットワーク）で翻訳を行うエンコーダとデコーダの組み合わせの時代です。エンコーダは入力の文を先頭から一語ずつ読み、最後に固定長のベクトルを一本だけ残しました。これがコンテクストベクトルで、デコーダはこの一本を頼りに訳文を作りました。

弱点ははっきりしていました。文が長くなっても、渡せるのは同じ長さのベクトル一本です。長い文ほど情報が詰め込まれ、前半の内容が薄れていきます。

注意機構とトランスフォーマーで、一本が行列になりました

この詰まりを解くために注意機構（アテンション）が加わり、デコーダは訳語を一つ作るたびに、入力のどの語を見るかを選び直せるようになりました。トランスフォーマーは再帰をやめ、この注意機構を中心に据えました。

トランスフォーマーのエンコーダでは、文をトークンに分け、各トークンを固定次元のベクトル（トークンエンベディング）に変え、位置を表すポジショナルエンベディングを足します。そのうえで、自己注意機構とフィードフォワードネットワークを持つ層を重ねます（元の論文では6層）。各層では、クエリ、キー、バリューを計算して各トークンがほかのトークンにどれだけ注意を払うかを求め、残差接続と層正規化で学習を安定させます。

最終層の出力は（シーケンス長）×（固定次元）の行列で、各行が一つのトークンに対応します。例文「私は昨日、友達と映画を見に行きました。」なら、「昨日」の行には、その語が「見に行きました」の時を示しているという関係まで反映されます。トランスフォーマーの説明でコンテクストベクトルと言えば、ふつうはこの行列を指します。

ChatGPTの中には、エンコーダの出力としては存在しません

ChatGPT の土台になっている GPT 系のモデルは、デコーダだけで組まれています。エンコーダがないので、エンコーダの出力としてのコンテクストベクトルもありません。各層がそれまでのトークンを見ながら表現を更新し、次のトークンを予測します。文脈を表す内部の表現はありますが、別の装置へ手渡す一枚の行列ではありません。その内部表現が、どの層で、文のどこまでの関係を保っているのかは、外から正確に言い当てられるものではなく、研究が続いている領域です。

検索で拾った定義を一つ携えて議論に臨むと、相手が別の時代のモデルを前提にしていた瞬間、正しい者どうしが言い争うだけの場になります。双方の定義は、それぞれの前提の下では正しいからです。用語で話がかみ合わないときは、定義を戦わせる前に、RNN の話か、翻訳用のトランスフォーマーの話か、対話AIの話かをそろえます。

変わらないのは、パラメータとの区別です

時代で意味が動いても、動かない区別が一つあります。コンテクストの表現は入力のたびに計算される出力であり、モデルのパラメータではない、ということです。

パラメータ行列は、学習で更新され、学習が終われば固定される重みです。自己注意機構で使う WQ、WK、WV がその例で、どんな文章を入れても同じものが使われます。コンテクストの表現は、同じモデルでも入力が変われば中身が変わり、文章が長くなれば行が増えます。パラメータで計算されますが、それ自体はパラメータではありません。パラメータは読み方を決める道具、コンテクストはその道具で読んだ結果です。

利用者が動かせるのは、入力の側だけです

この区別は、AIを仕事で使う組織にとって、手間と予算をどこへ向けるかを決めます。利用者はモデルの重みを変えられません。動かせるのは、AIに渡す文章、つまり計算される文脈の材料だけです。

それなのに、自社向けにモデルを鍛え直そうという話が先に立ち、渡す材料は二行の指示文で済まされる、という逆転がよく起きます。重みをいくら整えても、渡した文章に書かれていない目的や条件は、計算される文脈に一つも入りません。順番は逆で、まず渡す材料に、何をしたいのか、どんな背景があるのか、何を守るのか、どんな形で返してほしいのかを書きます。それでも足りない部分が見えてから、モデルの側を考えても遅くありません。

ただし、入力だけで足りるとは限りません。毎回渡しきれないほどの専門文書を前提にする場合や、決まった形式の出力を何千回も同じ質で返させたい場合は、モデルの側に手を入れる意味が出てきます。入力で解けるかどうかを試した記録があれば、その判断も根拠をもって下せます。

自分の職場に当てはめるなら、次の二つを考えてみてください。社内の会議で「学習させる」「文脈を持たせる」と言うとき、それはモデルの重みの話なのか、渡す文章の話なのか。モデルを変えなければ解けないと思っている問題は、渡す文章を書き直して一度でも試したか。

この記事の背景にある考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の2章1節「プロンプトの重要性と設計方針」の、プロンプトはなぜ重要なのかという話に書きました。AIはプロンプトをトークンに分け、数値の並びに変えて手がかりにするので、あいまいな言葉は答えを探す範囲を広げて精度を下げる、と説明し、回答が悪いときはAIより先に自分の言葉を疑う、という基本の姿勢を示した節です。そこには「もしAIの回答に不満を感じたら、まず自分が書いたプロンプトのあいまいさを疑うべきです。」とあります。この節を読むと、モデルを鍛え直す話が持ち上がったとき、その前に渡している文章のどこがまだあいまいなままなのかを、自分で点検できるようになります。