MLMのマスクはGPTのマスクと逆のことをする、隠す場所が得意を決める

マスクという同じ言葉が、BERTとGPTでは逆のことを指しています。用語集を並べ読みして、未来の単語を隠すのがMLMだ、と覚えてしまう混乱は、読み手の不注意ではなく、同じ名前に別の仕事をさせた命名が招いた事故です。この記事では、Masked Language Model（MLM）を、自己回帰型のマスクと比べながら説明し、どこを隠すかがモデルの得意を決めることを示します。

二つのマスクは、隠す相手が逆です

言語モデルは、単語の並びの確率を学び、次に来る語の予測や文の評価を行うモデルです。近年はトランスフォーマーに基づくものが主流で、その中に二つの学び方があります。

	MLM（BERTなど）	自己回帰型（GPTなど）
隠すもの	文中から選んだ一部の単語	各位置から見た、未来の単語すべて
見てよい範囲	隠した位置の左右両側	自分より左側だけ
当てるもの	隠した単語	次の単語
使う部品	トランスフォーマーのエンコーダ	トランスフォーマーのデコーダ

MLMのマスクは、問題を作るために単語を隠します。自己回帰型のマスクは、答えを先に見るカンニングを防ぐために未来を隠します。同じマスクでも、目的が逆です。

隠し方の細部に、設計の意図があります

代表例のBERTでは、入力の単語の約15%を候補に選び、そのうち80%を[MASK]という記号に、10%をランダムな別の単語に置き換え、10%はそのまま残します。すべてを[MASK]にしないのは、事前学習の後に個別の仕事で使う段階では、入力に[MASK]が現れないからです。記号のある位置だけを気にする癖がつくと、記号のない本番で力が出ません。もっとも、15%や80、10、10という割合は、理論から導かれた最適値ではなく、実験で選ばれた値です。別の割合のほうがよい場面がないとは言えません。置き換えと据え置きを混ぜることで、モデルはどの単語も疑ってかかり、周囲の語すべてから意味をつかむよう学びます。

学習では、隠した位置の予測と正解のずれ（クロスエントロピー損失）を小さくしていきます。ずれを測るのは隠した位置だけなので、一つの文から得られる学習の信号は、すべての位置で次の単語を当てる自己回帰型より少なくなります。

読む仕事に強く、書く仕事に向きません

MLMは、入力の埋め込み、位置の埋め込み、マルチヘッド・セルフアテンション、フィードフォワードネットワークを重ねたエンコーダで、前後の文脈を同時に見て意味をとらえます。大量のラベルなしテキストで事前学習し、分類などの層を足して少量のデータで微調整する使い方が一般的で、感情分析、質問応答、固有表現認識に強みがあります。

モデル	特徴
BERT	Googleが提案。双方向性と微調整で多くの課題に高い性能
RoBERTa	BERTの改良版。大きなバッチと長い訓練、隠す場所を毎回変える動的マスキング、次文予測の廃止
ALBERT	層間のパラメータ共有などで軽くした版
SpanBERT	連続した語のまとまりを隠す
DeBERTa	位置情報の扱いを改良

一方で、左から右へ一語ずつ書く練習をしていないので、長い文章を自然に書くのは不得意です。BERTに連載記事を書かせようとするのは、校閲の名人に小説の連載を頼むようなもので、腕の良し悪しではなく、何を練習してきたかの違いです。読む仕事と書く仕事を分け、読む仕事に当てるのが筋です。ほかにも、大量のデータと計算資源が要る、事前学習の後に生まれた知識を取り込みにくい、訓練データの偏りを学ぶ、予測の理由を説明しにくい、といった限界があります。双方向の文脈と生成の両立を狙った試みとしては、単語の並び順を入れ替えて学ぶXLNetもあります。

この違いをめぐって、よくある誤解が三つあります。

• マスクを使うならMLMだ: 自己回帰型も未来を隠すマスクを使う。違いは何を隠すか
• 双方向に読めるMLMは自己回帰型の上位互換だ: 読む力と引き換えに、書く練習をしていない。得意が違うだけ
• 対話型AIもMLMで学んでいる: 2024年時点で、対話型AIの多くは自己回帰型の系統にある

ただし、読むか書くかの区別は、規模と追加学習で薄まりつつあります。大きな自己回帰型モデルは分類や抽出もこなすので、小ささや速さを問わない場面では、わざわざMLMを選ぶ理由が少ないこともあります。どちらを選ぶかは、費用と速さをどれだけ重く見るかで変わります。

比べる軸を渡すと、用語の答えが変わります

「MLMとは何か」とだけAIに聞くと、検索上位の要約をもう一度読まされるような答えが返ってきます。比べる相手も観点も渡していないので、最も平均的な説明が最ももっともらしいからです。比べたい相手と観点、返してほしい形を先に渡します。

MLMと自己回帰型モデルの違いを、隠すもの、見てよい範囲、得意な課題、苦手な課題の四つの観点で比べてください。結果は表にし、それぞれ一文で根拠を添えてください。

観点を指定すると、AIの説明の抜けや、二つのマスクの混同にも気づきやすくなります。

用語は、比べる軸を自分で決めて確かめます

自分の学び方に当てはめるなら、次を考えてみてください。最近AIに意味を尋ねた専門用語のうち、似た言葉と混同したまま使っているものはないでしょうか。その用語を確かめるとき、あなたなら何と比べ、どの観点で並べますか。

この記事の背景にある考え方は、拙著『ChatGPT はじめてのプロンプトエンジニアリング』の5章1節「検索と調査」に書きました。調べものの出発点として、定義を調べる、歴史や由来を調べる、類似概念と比べる、という問い方を並べ、AとBの違いは何か、A、B、Cを比べて一覧表にして、と頼めばそれぞれの特徴を整理できることを、家電製品を比べる例で示しています。そこには「調査対象を類似概念と比較することで初めてその特徴を明確に理解できることがあります。」とあります。この節を読むと、新しい用語に出会ったとき、何と比べ、どの観点を表の列に置けば混同が見えてくるのかを、自分で選べるようになります。

出典

• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
• RoBERTa: A Robustly Optimized BERT Pretraining Approach
• ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
• DeBERTa: Decoding-enhanced BERT with Disentangled Attention
• XLNet: Generalized Autoregressive Pretraining for Language Understanding