GPTがデコーダだけで主流になったのは、構造の理屈より規模を大きくしたときの伸び方による

2018年の時点で、文章を読み解く課題の多くで高い評価を得たのは、デコーダだけのGPTではなく、エンコーダだけのBERTでした。デコーダだけの構成は生成に向いているから主流になった、という説明は、勝った後に書かれる勝因分析によくある、きれいすぎる筋書きです。最初からあった利点だけでは、なぜ途中で形勢が変わったのかを説明できないからです。この記事では、GPTがデコーダだけを使う三つの理由を確かめたうえで、主流化を決めたのは規模を大きくしたときに現れた別の力だった、という見方を示します。

Transformerの二つの部品と、GPTが手放したもの

Transformerは、2017年にVaswaniらが提案したアーキテクチャで、二つの部品からなります。

• エンコーダ: 入力の列を、前後両方向の文脈を含んだ表現に変える
• デコーダ: 出力の列を生成する。自己注意とフィードフォワードネットワークに加え、エンコーダの情報を取り込むクロス注意を持つ

この組み合わせは、翻訳や要約のように、ある入力から別の出力をつくる作業に向いています。OpenAIのGPTは、このうちデコーダ側だけを使い、エンコーダとクロス注意を手放しました。

三つの理由は、最初からあった利点です

一つ目は、自己回帰の生成との相性です。GPTは、それまでのトークンだけを手がかりに次を予測します。デコーダのマスク付き自己注意は後ろの情報を遮断するので、この要件にそのまま合います。

二つ目は、学習課題との一致です。事前学習は次のトークンを当てる課題で行われ、使うときにすることと練習することが同じです。入力と出力を分ける必要もなく、利用者の入力もモデルの続きも一本の列として扱えます。

三つ目は、構成の単純さです。部品が少ない分、計算資源を層の数やパラメータの拡大に回せます。中身は、マスク付き自己注意、位置の情報、フィードフォワードネットワーク、層正規化とドロップアウトです。

2018年には、理解はBERT、生成はGPTという棲み分けでした

	BERT	GPT	T5
構成	エンコーダのみ	デコーダのみ	エンコーダとデコーダ
学習	隠した語を当てる	次の語を当てる	テキストからテキストへの変換
当時の得意分野	分類、質問応答などの理解	長文生成	翻訳、要約、質問応答

初代GPTも、課題ごとに追加の学習をして理解系の課題に使われましたが、多くの評価で上回ったのは、前後両方向を見られるBERTでした。三つの理由がそろっていても、この時点でデコーダだけの構成が主流になる気配はありません。三つの理由は、生成の専門家としての適性を説明しても、何でも任される理由にはならないからです。

転機は、規模を大きくしたときに現れました

形勢を変えたのは、GPT-2、GPT-3と規模を大きくする過程で見えてきた性質です。GPT-3は、プロンプトの中にわずかな例を示すだけで、追加の学習なしに翻訳、質問応答、分類など多くの課題をこなせることを示しました。課題を、続きを書く形の文章として書き出せば、同じモデルがそのまま引き受けられるということです。

こうなると、課題ごとに専用の構成や追加学習を用意するより、一つの構造を大きくし、仕事は文面で指定するほうが速くなります。部署ごとに専用の申請様式を作るより、白紙一枚に用件を書けば通るほうが速い、という話です。様式を十二種類持つ組織ほど認めにくい結論ですが、様式の数だけ窓口と審査が増え、利用者がどの様式かを選ぶ手間も増えるという理屈は、モデルの設計でも同じでした。白紙で通すなら、代わりに、用件を書く側の文章力が問われます。

デコーダだけの構成にも、いまも限界はあります

文書の分類や固有表現の抽出のように、入力を深く読み解くことだけが目的の作業では、前後両方向を見られるエンコーダ型のほうが小さく安く済むことがあります。検索用の埋め込みのような用途でも、エンコーダ型は今も使われています。何でも任せられることと、何でも最も得意なことは別です。大量の文書を決まった観点で分類し続ける業務なら、専用の小さなモデルを選ぶ判断は十分に合理的です。そもそも、規模を大きくするとなぜ、続きを書くだけの仕組みで多くの作業がこなせるようになるのかは、現象としては確かめられていても、理由は研究で十分に説明されていません。

デコーダだけのモデルでは、プロンプトが仕事の指示書になります

GPTにはエンコーダがないので、翻訳モデルならエンコーダが担う、入力を読んで文脈をつくる役目を、利用者が書いたプロンプトが一本の列の先頭として担います。課題の種類も、条件も、合格の基準も、文面に書かれていなければモデルは知りようがありません。前提の四つの要素、対象、目的、制約、評価基準が書かれていないプロンプトに、モデルは平均的な続きで応じるしかないのです。

あなたがAIに頼んでいる仕事は、白紙一枚の用件として、どの課題を、どの条件で、どんな形で、と書けているでしょうか。それとも、専用の様式があるつもりで、肝心の項目を書かずに出していないでしょうか。

この記事の背景にある考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の2章1節「プロンプトの重要性と設計方針」に書きました。あいまいな質問にはあいまいな答えが返るという言葉の原則がAIにも当てはまるとし、作業の内容、目的、期待する回答を過不足なく書く明確化と、固有名詞、数値、条件を加える具体化を、設計の基本方針として示した節です。おすすめの映画を尋ねる例について、そこには「AIに伝えるジャンルや好みが不明確だとメジャーな作品を回答してきます。」とあります。この節を読むと、白紙一枚で何でも引き受けるモデルに、どの課題を、どの条件で、どんな形で、と書き渡せているかを、自分の依頼文で点検できるようになります。