Transformerモデルは、自然言語処理やその他の分野で非常に成功を収めていますが、いくつかの欠点も指摘されています。以下に、Transformerの主な欠点をいくつか挙げます。
計算複雑性とメモリ使用量
Transformerの自己注意機構は、入力シーケンスの長さに対して二次的にスケールするため、長いシーケンスを処理する際に計算コストが高くなり、メモリ使用量も増加します[1][2][3]。このため、非常に長いシーケンスを扱うタスクでは、Transformerの適用が難しくなることがあります。
長距離依存性の処理
Transformerは、長距離依存性をモデル化する能力を持っていますが、これが必ずしも効率的に行われるわけではありません。特に、長い文脈を必要とするタスクでは、依存関係の正確なキャプチャが難しい場合があります[1][3]。
データ効率と事前学習の必要性
Transformerモデルは、通常、大規模なデータセットでの事前学習を必要とし、データ効率が低いとされています。特に、少ないデータでの学習やリソースが限られた環境では、その性能が制限されることがあります[5][15]。
特定のタスクでの性能限界
Transformerは多くのタスクで優れた性能を示しますが、特定のタスクでは限界があります。例えば、臨床テキストの分類や、非常に長い文書の処理においては、他のアーキテクチャと比較して劣る場合があります[15]。
これらの欠点を克服するために、さまざまな改良が提案されています。例えば、LongformerやBigBirdのようなモデルは、自己注意機構を改良して計算コストを削減し、長いシーケンスの処理を可能にしています[2][3]。
[1] https://www.semanticscholar.org/paper/5b9d8bcc46b766b47389c912a8e026f81b91b0d8
[2] https://www.semanticscholar.org/paper/925ad2897d1b5decbea320d07e99afa9110e09b2
[3] https://www.semanticscholar.org/paper/044e13d7dd4e0655eb76f0bd00b2c1bdb44e2be3
[4] https://www.jstage.jst.go.jp/article/ieejias1987/111/2/111_2_141/_article/-char/ja/
[5] https://arxiv.org/abs/2005.00633
[6] https://arxiv.org/abs/2102.13019
[7] https://arxiv.org/abs/2002.09402
[8] https://doi.org/10.18653/v1/2020.emnlp-main.576
[9] https://www.semanticscholar.org/paper/24b8a0b02bcb7934967757fc59d273a71ba67e30
[10] https://doi.org/10.18653/v1/2020.emnlp-main.363
[11] https://arxiv.org/abs/2305.13048
[12] https://doi.org/10.1016/0029-554x(82)90248-8
[13] https://www.semanticscholar.org/paper/6f68e1bb253925d8431588555d3010419f322e04
[14] https://www.semanticscholar.org/paper/dbe077f8521ecbe0a1477d6148c726d4f053d9c9
[15] https://doi.org/10.1109/jbhi.2021.3062322
[16] https://www.semanticscholar.org/paper/39ca8f8ff28cc640e3b41a6bd7814ab85c586504
[17] https://www.semanticscholar.org/paper/bd1331b233e84bab7eba503abc60b31ac08e7881
[18] https://www.semanticscholar.org/paper/690edf44e8739fd80bdfb76f40c9a4a222f3bba8
[19] https://www.jstage.jst.go.jp/article/ieejpes1972/100/9/100_9_501/_article/-char/ja/
[20] https://www.semanticscholar.org/paper/e0c6abdbdecf04ffac65c440da77fb9d66bb474c
[21] https://www.jstage.jst.go.jp/article/ieejpes1990/118/12/118_12_1415/_article/-char/ja/
[22] https://www.jstage.jst.go.jp/article/pcersj/2004S/0/2004S_0_38/_article/-char/ja/
[23] https://www.semanticscholar.org/paper/610b302950a19acef1c45456111dcd495f638c18
[24] https://doi.org/10.1109/tasc.2019.2906804
[25] https://www.semanticscholar.org/paper/3a906b77fa218adc171fecb28bb81c24c14dcc7b
[26] https://www.semanticscholar.org/paper/1243e13254bb4ea1f71b4be8a3e4e54ffd02d2fe
[27] https://doi.org/10.1109/tdei.2017.006149
