Transformerエンコーダの構成要素:
Transformerのエンコーダは、自然言語処理や機械翻訳などで使われる強力なモデルです。以下はTransformerエンコーダの主要な構造とその機能についての簡単な説明です。
- 入力の埋め込み層 (Input Embedding): トークン（単語やサブワードなど）のIDを多次元のベクトル空間に埋め込みます。
- 位置エンコーディング (Positional Encoding): トークンの順序情報を補完するため、各トークンに位置情報を加算します。これにより、順序が重要なデータも適切に扱うことができます。
- マルチヘッドアテンション (Multi-Head Attention): 重要な情報に焦点を当てるためのアテンション機構です。複数の「ヘッド」を使って、異なる部分に同時に注意を向けます。
- 残差接続と正規化 (Residual Connection and Layer Normalization): 各レイヤーを通った後の出力に元の入力を加算し、学習を安定させるために正規化します。
- フィードフォワードネットワーク (Feed Forward Network): 非線形変換を行う部分で、各トークンごとに別々に処理します。隠れ層を持つ2層の全結合ネットワークです。
- エンコーダの積層 (Stacked Encoders): エンコーダは通常複数のレイヤーで構成され、上記の構造が何回も繰り返されます。これにより、入力から深い特徴を抽出します。
このエンコーダの役割は、入力文を一連のベクトルに変換し、次のデコーダや他のタスクで使われる表現を提供することです。
Transformerデコーダの構成要素:
Transformerのデコーダは、エンコーダからの出力を受け取り、最終的にターゲット文を生成する役割を担います。デコーダの主な構成要素は以下の通りです。
- 入力の埋め込み層 (Input Embedding): ターゲット文のトークンを多次元のベクトル空間に埋め込みます。
- 位置エンコーディング (Positional Encoding): エンコーダと同様に、トークンの順序を表現するために位置情報を加えます。
- マルチヘッドアテンション (Masked Multi-Head Attention): 生成中のターゲット文の先のトークンを見ないように制約を加えたアテンション機構です。
- エンコーダ-デコーダアテンション (Encoder-Decoder Attention): エンコーダからの出力を使って、ターゲット文に適切な情報を注目します。
- 残差接続と正規化 (Residual Connection + Layer Normalization): 各レイヤーで正規化し、残差接続を行うことで学習を安定化させます。
- フィードフォワードネットワーク (Feed Forward Network): デコーダも2層のフィードフォワードネットワークを使用して非線形変換を行います。
- デコーダの積層 (Stacked Decoders): エンコーダと同様に、これらの層が何回も繰り返されます。
- 出力生成 (Output Generation): 出力層では、生成したトークンが次のトークン予測に使われます。
