背景
「Attention Is All You Need」は、Ashish Vaswaniらによって2017年に発表され、Transformerと呼ばれる新しいアーキテクチャを提案したことで、自然言語処理（NLP）の分野において画期的な役割を果たしました。この論文では、これまで広く使用されてきたリカレントニューラルネットワーク（RNN）や異常接続ニューラルネットワーク（CNN）を用いることなく、自己注意（self-attention）に完全に依存するモデルを提案しました。このモデルは、シーケンスの並列計算を可能にし、トレーニング時間とパフォーマンスの両方において顕著な改善を示しました。
従来のシーケンス変換モデル
Transformerの登場前は、RNN、LSTM（Long Short-Term Memory）、およびGRU（Gated Recurrent Unit）などのリカレント構造がシーケンス変換タスク、特に機械翻訳などにおいて最もよく使われていました。しかし、RNN系のモデルはシーケンスの各ステップを順次処理するため、その計算は並列化しにくいという問題がありました。特にシーケンスが長くなると、トレーニングに非常に長い時間がかかるため、効率の面で課題がありました。
Transformerの革新性
Transformerの大きな革新点は「自己注意機構」を全面的に活用し、RNNやCNNを使用せずにシーケンス全体を効率的に処理する点です。自己注意は、シーケンス内の各要素が他のすべての要素に対して「どの程度重要であるか」を評価するメカニズムです。これにより、文の各単語が他の単語との関係性を簡単に学習することができます。
例えば、翻訳タスクでは、ある単語がどの他の単語と強く関係しているかを動的に評価できるため、従来のRNNベースの方法よりも依存関係を捉えやすくなります。
モデルアーキテクチャ
Transformerは大きく「エンコーダ」と「デコーダ」の2つのスタックで構成されています。それぞれは6つのサブレイヤーを持つ層から成り立っています。
- エンコーダ:
- エンコーダは入力シーケンスを受け取り、それを高次元の特徴量に変換します。
- 各層は「自己注意メカニズム」と「単純な全結合層」の2つの部分から成り立っています。単純な全結合層とは、各単語に対してその特徴量を変換するためのシンプルなニューラルネットワークです。この層は自己注意の結果をより高次元の特徴に変換し、モデルがより複雑なパターンを学習できるようにします。
- 自己注意により、各単語が文中の他のすべての単語に対して注意を向け、その重要度を学習します。
- デコーダ:
- デコーダは、エンコーダから出力された特徴量を使ってターゲットシーケンスを生成します。
- ここにはエンコーダとは異なり、エンコーダからの出力に対しても注意を向ける「エンコーダ-デコーダ注意」が追加されています。
- このメカニズムにより、デコーダが入力文のどの部分に注目すべきかを理解します。
自己注意(Self-Attention)
自己注意とは、各単語が他のすべての単語に対してどの程度関連性があるかを評価する仕組みです。これにより、文中の重要な単語やその関係性を明示的に学習します。具体的には、各単語が他の単語との関連性をスコア化し、それに基づいて注意の度合いを決定します。この評価は、翻訳や文脈理解において、特に重要な単語間の関係を理解する助けとなります。例えば、文中のある単語が特定の動詞にどの程度影響されるかを学習することで、文全体の意味を把握しやすくなります。
スケールド・ドットプロダクト注意 (Scaled Dot-Product Attention)
Transformerの重要な部分は「スケールド・ドットプロダクト注意」です。これは、クエリ（Query）とキー（Key）、バリュー（Value）というの3つのベクトルを用いて、クエリがキーとどれだけ関連性があるかを計算し、その重要度に基づいてバリューを組み合わせます。この計算において、キーの次元数で割ることでスケール調整を行い、勉強低減の問題を緩和しています。
マルチヘッド注意 (Multi-Head Attention)
Transformerでは「マルチヘッド注意」という手法が用いられています。これは、複数の異なる「頭（ヘッド）」で異なる次元での注意を同時に行うというものです。これにより、異なる情報に対して同時に注意を向けることができるため、モデルは文の異なる意味的な側面を効果的に学習できます。
例えば、一つのヘッドが文の構文的な関係に注目している間に、別のヘッドが意味的な関係に注目することができます。
ポジショナルエンコーディング
Transformerには再帰構造が存在しないため、シーケンス内の単語の位置情報を明示的に加える必要があります。ポジショナルエンコーディングは、各単語にその位置情報を持たせるために、正弦波と余弦波の組み合わせで生成されます。この方式により、モデルはシーケンス中の位置関係を自然に学習できます。
トレーニングと性能
「Attention Is All You Need」では、Transformerモデルが機械翻訳タスクで高い性能を達成したことが示されました。特にWMT 2014の英語-ドイツ語翻訳タスクにおいて、BLEUスコアで28.4を達成し、従来の最先端モデルを大幅に上回る性能を示しました。トレーニングは、8つのNVIDIA P100 GPUでわずか12時間で完了し、これは従来のモデルと比較して非常に効率的です。
結論とインパクト
Transformerは、注意機構だけでシーケンス変換タスクを解決する新しいアプローチを提示しました。その結果、従来のRNNやCNNベースのアプローチに比べて、トレーニングの高速化と並列処理の可能性を大きく広げました。また、このモデルの発展形であるBERTやGPTなど、NLPの様々なタスクでの革新に繋がり、自然言語処理の分野全体に非常に大きな影響を与えています。
Transformerのシンプルでありながら強力なアーキテクチャは、特に長い依存関係を持つ文脈を扱う能力に優れており、翻訳のみならず要約や質問応答など、広い应用が可能です。この論文は、NLPの628tech的進歩において歴史的な転据点となり、その影響は現在でも続いています。
