生成AIは行列の掛け算でできている。だから書かなかった条件は平均で埋まる

生成AIは大学1年の線形代数でできている、と聞いて安心した人も身構えた人も、明日のAIの使い方は一行も変わりません。仕組みの名前を知ることと、仕組みから使い方の結論を引き出すことは、別の作業だからです。

この記事では、生成AIの中でベクトルと行列がどう働くかを順にたどり、そこから引き出せる実務上の結論を一つに絞ります。書かなかった条件は、空白のままではなく、ありがちな条件として計算に入る、という結論です。あわせて、仕組みの理解だけでは分からないことも書きます。

言葉はベクトルになり、意味は空間の中の位置になります

生成AIは、扱うデータをまず数の並び、つまりベクトルに変えます。文章なら、単語や単語の断片（トークン）を、たとえば768次元や1024次元のベクトルで表します。これを埋め込み（エンベディング）と呼びます。仕組みとしては、語彙の数だけ列を持つ大きな行列から、トークンの番号に対応する列を取り出すだけです。

ここで押さえたいのは、ベクトルが表しているのは辞書の定義ではなく、高次元の空間での位置だという点です。似た文脈で使われる言葉は近くに置かれます。近さは使われ方の近さであって、正しさの近さではありません。

層も注意機構も、掛け算と足し算と内積の繰り返しです

ニューラルネットワークの一つの層が行う計算は、出力 ＝ f（W × x ＋ b）の形をしています。x は入力のベクトル、W は重みの行列、b はバイアス、f はReLUなどの非線形な関数です。これを何層も重ねたものが深層学習のネットワークです。

トランスフォーマーの自己注意機構（Self-Attention）も同じ材料でできています。入力のベクトルに三つの重み行列を掛けてクエリ、キー、バリューを作り、クエリとキーの内積で語と語の関係の強さを測り、ソフトマックスで重みに変えて、バリューを重み付きで足し合わせます。使っているのは行列の積、転置、内積です。

学習も行列の言葉で書かれています。予測のずれである損失を小さくする方向へ、重みを少しずつ動かす勾配降下法です。傾きを求める逆伝播では、行列の積と転置が繰り返し使われます。計算の速さも行列が決めていて、GPUやTPUは大量の行列積を同時に処理する構造を持っています。

内積が測るのは関係の強さで、正しさではありません

ここが実務につながる山場です。AIが自信満々に間違える、と驚く人は多いのですが、内積の式のどこにも、自信を割り引く項も、真偽を確かめる項もありません。計算しているのは、この文脈ならどの続きがもっともありそうか、という関係の強さだけだからです。

学習は、大量の文章の続きを当てる誤差を小さくする作業でした。したがってモデルが身につけるのは、たとえて言えば、似た文脈で人がどう書いてきたかの重心です。入力が手がかりを多く含めば、計算はその手がかりの近くで行われます。手がかりが少なければ、計算は重心の近く、つまりありがちな答えに寄ります。

書かなかった条件は、ありがちな条件として計算に入ります

指示文に読み手、目的、制約を書かなかったとき、その部分は空白として扱われるのではありません。書かれていない部分は、学習したデータの中で典型的な読み手、典型的な目的として埋まり、そのまま次の計算に進みます。

うちの業界は特殊だから、とAIの一般論に腹を立てる前に、指示文に業界の特殊さを一行でも書いたかを見たほうが早いでしょう。書かれていない特殊さは、計算の上では存在しないからです。誰に向けて、何のために、どんな制約の中で、という三つを足すだけで、計算の出発点そのものが変わります。

仕組みを知っても分からないことが残ります

ただし、この見方は単純化です。生成は確率に従って続きを選ぶので、毎回いちばん典型的な答えが出るとは限りません。資料を一緒に渡す、検索で情報を取り込む、追加の学習で振る舞いを調整する、といった場合には、空白は重心ではなく渡された情報や調整の方向で埋まります。条件を尋ね返すよう作られたモデルなら、空白はそもそも質問になります。

もう一つ、行列の式を全部知っていても、ある答えがなぜその形になったのかを人が説明しきることは、2025年時点でも研究の途中です。何億もの重みが同時に効いているからです。線形代数を学び直せばAIを使いこなせる、という触れ込みは、エンジンの設計図を読めば渋滞を抜けられると言うのに近いものがあります。設計図から分かるのは、入力を変えれば計算の出発点が変わる、というところまでです。

あなたが最近AIに出した指示文で、書かずに済ませた条件はどれでしたか。そしてAIは、その空白を何で埋めたと考えられるでしょうか。

この記事の背景にある考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の4章1節「発散と収束で単純化」に書きました。AIの推論は論理学の推論と違い、「確率的に最も妥当と思われる答え」を返す、という性質から話を始めています。この節を読むと、いま自分がAIに頼んでいるのが広げる仕事なのか、まとめる仕事なのかを、指示を書く前に自分に問えるようになります。