コンテキスト長

以下では「コンテキスト長（context length）」という言葉について、技術的な背景から、計算機科学的・言語学的な位置づけ、そして実際の大型言語モデル（LLM: Large Language Model）での扱われ方や歴史的経緯、今後の展望に至るまで、かなり広範囲にわたりますが、できるだけ整理して述べます。

1. コンテキスト長（context length）とは

1.1. 基本的な定義

「コンテキスト長」とは、会話やテキスト入力において、モデルが同時に“文脈（コンテキスト）”として扱うことのできるトークン（単語やサブワード単位など）の最大数、あるいはその範囲のことを指します。

トークン: 一般的な自然言語処理では文章を形態素やサブワード単位、あるいはサブ文字列単位などに分割してモデルに入力します。その最小単位を「トークン」と呼ぶことが多いです。
文脈（コンテキスト）: 会話やテキスト生成などのタスクでは、モデルが回答を生成するときに参照する過去の情報（質問文や流れなど）全体を指します。

直感的には、「モデルが一度に記憶できるテキストの長さ」「モデルが一気に‘読み込んで’理解したり推論に使える情報の総量」のように理解すると分かりやすいです。

1.2. なぜ重要なのか

コンテキスト長は、LLMが扱える情報量の上限を決める非常に重要な要素です。仮にコンテキスト長が短いと、ユーザがモデルに与えたい情報をすべて含めきれなかったり、対話の流れが十分に保持されずに途中で途切れてしまったりします。逆にコンテキスト長が大きい（長い）ほど、より長大な文章の冒頭部分まで参照に含めたうえで回答を導いたり、深いディスカッションが可能となります。

2. 歴史的背景

2.1. Transformer の登場以前

ディープラーニングによる自然言語処理が進む前は、RNN（リカレントニューラルネットワーク）やLSTM（Long Short-Term Memory）、GRU（Gated Recurrent Unit）といった構造が主流でした。

RNNベースのモデルでは、テキストを順序通りに一方向（または双方向）へ再帰的に処理します。理論的には長い文脈を扱えるはずですが、**勾配消失（vanishing gradient）や勾配爆発（exploding gradient）**といった問題が起きがちで、実質的にはあまり長い文脈を取り扱うのが困難でした。
LSTMやGRUなどはこの問題を緩和しており、より長い文脈を扱えるようにはなりましたが、それでも数十単語から数百単語程度が限界になりがちでした。

2.2. Transformer の登場

2017年に登場した論文 “Attention Is All You Need” (Vaswani et al.) によって、自己注意機構（Self-Attention） を全面に押し出したTransformerアーキテクチャが提案されました。これにより、「入力シーケンス（文章など）の任意の位置どうしの関係を直接参照できる」構造が登場し、それまでは難しかったより長い文脈をより効率的に扱えるようになりました。ただし、Transformerを実装する際には入力埋め込みベクトルや注意機構の計算量がシーケンス長（=コンテキスト長）に対して二乗オーダーで増加するという問題点があり、非常に長い文脈を扱うためには計算コストやメモリ使用量が急激に増大するという課題もあります。

2.3. 大型言語モデル（LLM）の発展

現在のGPT系モデルやChatGPTなどは、基本的にTransformerアーキテクチャをベースにしています。これらのモデルは、巨額の計算リソースを投入することで大規模データを学習し、人間のように自然な文章生成や高度な推論を行えるようになりました。しかし、その中核部はやはりTransformerなので、計算の都合やモデルのアーキテクチャ上の制約から“コンテキスト長”というものが存在します。

例えば、GPT-3ではおよそ4,000トークン程度（モデル内部の設定等によって多少異なる）のコンテキスト長がありました。
GPT-3.5やGPT-4では、8,000トークン、32,000トークン、あるいはさらにそれ以上を扱える設計のバージョンも登場し始めています。

3. コンテキスト長の技術的詳細

3.1. 計算負荷とのトレードオフ

先ほど述べたように、Transformerベースのモデルでは自己注意機構を用いる関係上、コンテキスト長 NN に対して注意計算が O(N2)O(N^2) の計算量を要します。つまり、

コンテキスト長を2倍にする：注意行列は4倍の要素数になり計算コストが4倍近く増える
コンテキスト長を10倍にする：注意行列は100倍の要素数に
というように単純には拡張できません。ハードウェアのメモリや学習・推論の時間の制約があるため、コンテキスト長を長くするには多大なリソースが必要になります。

3.2. モデル内部の「位置埋め込み（Positional Embedding/Encoding）」

Transformerモデルでは、順序情報を埋め込みベクトル（Positional Embedding、あるいはPositional Encoding）として加えます。これにより、自己注意モジュールが「テキストのどの位置にあるトークンなのか」を把握できます。

この位置埋め込みをどの範囲で設計するかが、そのまま最大コンテキスト長に影響します。
例えば、単純な正弦波ベースのPositional Encodingを使う場合には、特定の周期性で位置情報を符号化しており、理屈的には理想的な範囲を超えるとエイリアス（重複）などが起きて性能が劣化する可能性があります。
新しいモデルでは、学習可能埋め込みやロータリー位置埋め込み（RoPE: Rotary Positional Embedding）などの工夫が加えられており、ある程度は長い文脈にも対応しやすくなっています。

3.3. メモリ上限との関係

大規模モデルでは、GPU/TPU/CPUメモリを膨大に消費します。推論中においても、コンテキストが長いほど注意行列（N×N）や中間テンソルの確保が必要で、メモリ圧迫が強まります。

実際にOpenAIなどのAPIを使う場合にも、「最大トークン長を超える入力はエラーになる」「料金がより高くなる」といった使用制限が設けられています。
研究機関や企業が提供するモデルでも同様に、使用するリソースとのトレードオフでコンテキスト長の制限が決められています。

3.4. 事前学習との関係

また、あるモデルが「理論的には長いコンテキスト長まで扱える設計」であっても、実際の事前学習時にその長さまで学習していなければ十分に性能を発揮できないことが多いです。例えば、最大8,000トークンに対応できるモデルであっても、学習データの段階で常に8,000トークン近い長さを使用していたわけではなく、平均的な文書長が数百～数千トークン程度だとすると、長大なテキストへの対応が弱い可能性があります。最近は「拡張コンテキスト長」に対応するために、トレーニング時に意図的に長いシーケンスを取り扱うよう工夫されるケースもあります。

4. コンテキスト長が及ぼす影響・具体例

4.1. 質問応答タスク

質問応答では、ユーザが1つの長い文書を与えて「この中の具体的な内容を答えてほしい」という形のタスクがあります。

コンテキスト長が十分に大きい場合、モデルは「文書全体を一度にメモリに載せて参照しながら回答を生成」できます。
コンテキスト長が不足している場合、文書を要約したり断片的に区切ったりして何度もやり取りする必要があり、精度が下がったり、扱いが煩雑になります。

4.2. 長い対話・複数ターンの会話

チャットボットの用途で、ユーザと何度もラリーを続ける場合にもコンテキスト長は重要です。

短いコンテキスト長だと、会話の途中で過去のやり取りが切り捨てられてしまうため、「以前の発話との一貫性を保つ」ことが難しくなります。
長いコンテキスト長を持つモデルなら、途中の発話内容を忘れにくく、前後関係を踏まえた応答が可能です。

4.3. 長文生成

長編の小説や論文など、非常に長いテキストを一度に生成したい場合にも、長いコンテキスト長が求められます。

コンテキスト長が少ないと、後半部分を生成するときに前半の詳細情報を参照しにくい（忘れてしまう）問題が起こります。
大きなコンテキスト長があれば、一貫性の高いストーリーや論理展開を保ちながら長文を生成することが容易です。

5. コンテキスト長を伸ばすための研究・工夫

5.1. Long Range Arena などのベンチマーク

コンテキスト長を扱う力を評価するために、研究者らは「Long Range Arena」など、より長いシーケンスを処理する能力を測るためのベンチマークを使い始めました。

そこでは、単純なTransformerが計算コスト的に困難になるような長さ（数千～数万トークン）のタスクを提示し、モデルが効率よく扱えるかを実験します。

5.2. 低次元表現や近似手法

自己注意機構の計算コストを削減するために、様々な近似や低次元化の手法が研究されています。

Performer: ランダム特徴マッピングに基づく近似により、自己注意計算を線形オーダーで行う。
Sparse Attention: 全てのトークンペア間の注意を計算せず、一部だけに絞ることでO(Nlog⁡N)O(N \log N)などに抑える。
Linformer: 転写行列によって埋め込み次元を圧縮し、注意行列のサイズを低減する。

5.3. メモリ管理の工夫

最近ではGPUメモリをうまく分割・圧縮して活用したり、分散計算を駆使して複数マシン間でメモリを分散させるなどの工夫により、さらに長いコンテキストを扱う試みも行われています。

5.4. セグメンテーションと階層型アテンション

テキストを複数のセグメントに分割し、それぞれについてローカルな自己注意を取り、最後にグローバルの要約表現どうしをやり取りするような「階層型アテンション（hierarchical attention）」を用いる手法なども研究されています。

大域的なコンテキストを完全に処理するのではなく、要約ベクトルを用いて必要なところのみ見る、という分割統治アプローチです。

6. 一般的なコンテキスト長の目安

6.1. 代表的なモデルの例

BERT系: 一般的に512トークン前後。
GPT-2: 1024トークン程度。
GPT-3: 約4,096トークン（4k context）バージョン。
GPT-3.5 / GPT-4: 8,192トークン（8k context）や32,768トークン（32k context）のバージョン。
その他研究モデル: 100kトークン以上に対応する実験的モデルも存在。

6.2. 実用上のインパクト

数千トークンだとA4文書数ページ分程度
数万トークンだと簡単な論文程度
数十万トークンになると本一冊分に近づく

モデルが一度に参照できる範囲が多いほど、より長大なテキストを記憶・処理しつつ出力できるわけです。

7. コンテキスト長の「実際の体感」と注意点

7.1. 全部読んでいるわけではない？

コンテキスト長が大きいモデルといっても、モデルがテキストのすべてを事細かに「論理的に理解」しているわけではありません。あくまで「注意機構」を通じて参照可能な範囲が確保されている、という話です。

長いテキストを与えれば与えるほど、モデルが重要な情報を“選り分け”やすくはなります。
しかしモデルの注意分布や重み次第では、結局あまり参照されない部分があったり、勘違いが起こりやすくなる場合もあります。

7.2. コンテキスト内での整合性

コンテキストが極端に長くなると、モデルが部分的に整合性のとれない回答をしてしまう可能性も生じやすくなります。人間でも膨大な情報を一度に渡されると混乱するのと同様、モデルにとってもノイズが増えるためです。

そのため、必要な情報を的確に抜き出して要約しつつコンテキストに含める、という技術（retrieval augmented generationなど）が活用されています。

7.3. “長い＝常に良い”ではない

コンテキスト長を大きくするには計算資源や学習コストも膨れ上がりますし、モデルの応答が必ずしも向上するとは限りません。要点をまとめた入力のほうがかえって精度が高い場合もあります。

より優れたモデルやテクニックが今後も登場し、コンテキスト長の制限緩和とともに必要な場合だけローカルな注意を行う最適化手法も活発に研究されていくでしょう。

8. 今後の展望

8.1. モデル構造の革新

Transformer の二乗オーダーの壁を解決するために、線形時間やサブ線形時間での注意機構を実現する新しいネットワーク構造が登場する可能性があります。

それらが実用化されれば、コンテキスト長10万、100万といった領域へも実際的に拡大する道が開かれるかもしれません。

8.2. アプリケーション開発へのインパクト

長いコンテキストを扱えるようになることで、大規模ドキュメント検索・分析やリアルタイムに生成される連続的なストリームデータの把握など、数々の応用が考えられます。

例えば、複数チャットの同時解析、膨大な複数論文の要約・比較、書籍全体からの質疑応答などがより自然にできるようになるでしょう。

8.3. スケーラビリティと計算コスト

一方で、モデルを大規模化すれば計算コストとエネルギー消費が飛躍的に増大する問題も大きくなります。環境負荷や運用コストの観点から、効率を高めるアルゴリズムが必須となります。

9. まとめ

ここまで「コンテキスト長」について、通常の1000倍（？）詳しい説明を目指して長々と述べてきました。ポイントをまとめると以下のようになります。

コンテキスト長とは、モデルが一度に参照しながら推論を行えるテキスト（トークン）範囲の最大値を指す。
Transformer登場以前はRNN/LSTMなどが使用されており、長い文脈を扱うのは難しかったが、自己注意機構が導入されて飛躍的に可能性が広がった。
しかし、Transformer構造上、注意機構の計算コストがシーケンス長の二乗に比例するため、コンテキスト長を長くすればするほど計算負荷とメモリ消費が急増する。
Positional Encodingや学習可能な埋め込みの設定が、そのままコンテキスト長の上限に影響する。また長いコンテキストを実際に学習させることが性能向上に重要。
コンテキスト長が増えるほど、長文の一貫した生成や長い対話の文脈保持、大規模文書からの問合せなどで威力を発揮するが、メモリ・計算・モデル精度の面でトレードオフが存在。
今後は線形時間の注意機構や分散メモリ管理などの技術革新により、さらに長いコンテキストを扱いつつ、計算コストを抑える方向での研究が進んでいくと見られる。