大規模言語モデル（LLM）が未知語（モデルの訓練データや語彙に存在しない単語）を入力として受け取った場合、その処理方法は以下のように多層的かつ複雑なプロセスを経て行われます。以下に、詳細に説明します。
1. 入力の前処理とトークナイゼーション
a. トークナイゼーションの役割
トークナイゼーションは、入力されたテキストをモデルが理解可能な単位（トークン）に分割するプロセスです。LLMでは、通常、バイトペアエンコーディング（BPE）、WordPiece、Unigramなどのサブワードトークナイザーが使用されます。これらのトークナイザーは、語彙サイズを効率的に管理し、新たな単語や未知語に対しても柔軟に対応するために設計されています。
b. 未知語の定義
伝統的な自然言語処理では、未知語とはモデルの語彙リストに存在しない単語を指します。しかし、現代のLLMでは、サブワードトークナイザーを使用することで、未知語も既知のサブワードに分解できるため、完全な未知語（語彙に全く含まれない新規の連続した文字列）に対する対応が可能です。
2. 未知語の処理メカニズム
a. サブワードへの分解
未知語が入力された場合、トークナイザーはその単語を既知のサブワード単位に分解します。例えば、日本語の未知語「スーパーコンピュータ」があった場合、「スーパー」と「コンピュータ」という既知のサブワードに分解される可能性があります。もし完全に未知の部分が存在する場合は、さらに細かく分解され、最終的には文字単位やバイト単位のトークンに分けられます。
b. トークンIDの割り当て
分解されたサブワードは、それぞれモデルの語彙リストに基づいて固有のトークンIDにマッピングされます。これにより、未知語でも既知のトークンIDの組み合わせとして表現され、モデルはこれを処理できます。
3. 埋め込み層への入力
a. トークン埋め込み
各トークンIDは、埋め込み層（Embedding Layer）を通じて高次元のベクトル空間にマッピングされます。未知語がサブワードに分解されることで、モデルはそれぞれのサブワードに対応する埋め込みベクトルを取得します。
b. 埋め込みベクトルの統合
分解されたサブワードの埋め込みベクトルは、後続の層で統合され、文脈情報として活用されます。これにより、未知語全体の意味や文脈上の役割を捉えることが可能となります。
4. トランスフォーマーアーキテクチャによる処理
a. 自己注意機構（Self-Attention）
埋め込みベクトルはトランスフォーマーの自己注意機構に入力され、文脈全体にわたる関連性を計算します。未知語が分解されたサブワードは、それぞれが他のトークンとの関係性を学習し、文脈内での役割を理解します。
b. 層ごとの処理
トランスフォーマーは複数の層（Layer）から構成されており、各層で自己注意とフィードフォワードネットワークを通じて情報が深化されます。未知語のサブワードも各層での処理を経て、最終的な文脈理解に寄与します。
5. 未知語の意味的理解と生成への影響
a. 意味の推測
サブワードに分解された未知語は、既知のサブワードの組み合わせとしてモデルに認識されます。このため、未知語の意味はその構成要素の意味と文脈から推測されます。例えば、「ニューラルネットワークズ」という未知語があった場合、「ニューラル」「ネットワーク」「ズ」という既知のサブワードからその意味を推測します。
b. 出力時の生成
生成タスクにおいて、未知語が含まれる入力は、モデルによって分解されたサブワード単位で処理されます。出力時も同様に、サブワード単位で生成されるため、未知語の完全な再現は難しい場合がありますが、文脈に基づく適切な生成が可能となります。
6. トレーニング時の影響と対策
a. サブワード分解の利点
トレーニング時にサブワード単位でデータを学習することで、モデルは未知語に対しても柔軟に対応できるようになります。これにより、語彙リストのサイズを抑えつつ、多様な単語や新語に対応可能です。
b. データ拡張と一般化能力
サブワードトークナイゼーションは、データ拡張の一形態として機能し、モデルの一般化能力を向上させます。未知語に対する耐性が向上することで、実際の使用環境でのモデルのパフォーマンスが向上します。
7. 技術的課題と今後の展望
a. サブワード分解の限界
完全に未知の新語や専門用語、造語の場合、サブワード単位の分解が意味的な理解を完全には保証しません。このため、モデルは文脈や既知の情報から意味を補完する必要があります。
b. 新しいトークナイゼーション手法の研究
より高度なトークナイゼーション手法やダイナミックな語彙管理方法が研究されており、未知語への対応能力をさらに向上させることが期待されています。
8. 実用上の影響と応用
a. 多言語対応
特に日本語のような表記体系が複雑な言語では、サブワードトークナイゼーションが重要な役割を果たします。未知語の処理能力が向上することで、より自然で流暢なテキスト生成が可能となります。
b. 専門分野への応用
医学、法律、技術など専門用語が多用される分野では、未知語の処理能力が直接的な影響を及ぼします。サブワードトークナイザーの効果的な活用により、専門用語を含むテキストの理解と生成が向上します。
9. まとめ
LLMにおける未知語の処理は、サブワードトークナイゼーションを中心とした高度な技術に支えられています。未知語が入力された際には、まずサブワード単位に分解され、それぞれのサブワードが既知のトークンとして処理されます。これにより、未知語であっても文脈内での意味理解や生成が可能となり、モデルの柔軟性と適応性が向上します。しかし、完全な意味理解には限界があり、今後の技術革新によってさらなる改善が期待されます。
