大規模言語モデル（LLM）の開発費が膨らみ、性能の伸びが鈍るなかで、10億から700億パラメータ程度の小規模言語モデル（SLM）が、特定の仕事ではLLMに匹敵する性能を、はるかに低いコストで出し始めています。この記事では、2025年時点で語られている数字をもとに、LLMの限界、SLMの技術と事例、日本企業の機会、段階的な導入の進め方を整理します。
LLMのコスト危機と性能の頭打ち
LLMの開発費は、持続が難しい水準に達しているとされます。GPT-4の開発に7,900万から1億ドル、Google Gemini 1.0 Ultraには1億9,200万ドルかかったという試算があります。内訳は研究開発スタッフの給与が49%、AI用のチップが23%、その他のサーバー部品が15%です。H100は1枚2万5千から4万ドルで、1,000枚のGPUをそろえるだけで2,500万から4,000万ドルが必要になります。
性能の伸びも鈍っています。MMLU、GSM8K、HumanEvalといった標準的なベンチマークで、最先端モデルの成績が横並びに近づきました。高品質な学習データが2028年までに枯渇するという見通しもあります。運用面では、GPT-4級のモデルは1回の問い合わせで約0.43Whを使うと試算され、推論のコストが学習のコストを上回ることも多いとされます。
SLMを支える技術と主なモデル
SLMの進歩は、単に小さくしたことによるものではありません。
- 量子化: 重みの精度を4ビットまで落とす手法などで、メモリを大きく減らす。QLoRAではメモリの使用量を4分の1にした
- 知識蒸留: 大きなモデルの知識を移し、10分の1のパラメータで近い性能を保つ
- LoRA: 全パラメータの0.1から1%だけを学習し、調整の計算量を10分の1から100分の1に抑える。調整用のファイルは6から8MB程度で済む
主なモデルの成績も報告されています。Mistral 7BはLlama 2 13Bをすべての指標で上回り、340億パラメータ級に近い性能を示しました。Alibaba Qwen 2.5の7BはMATHで75.5、HumanEvalで84.8を記録しています。Appleは約30億パラメータのモデルを端末向けに最適化し、データを端末の外に出さない構成をとっています。端末側でも、モバイル向けのAI専用プロセッサーの性能と電力効率が上がり、スマートフォンでSLMを動かすことが現実的になりました。
コスト差の試算もあります。あるワークロードでは、Mistral 7Bの運用費が月12.60ドル、GPT-4相当では約400ドルで、最大97%の削減になるとされます。学習費もLLMの1,200万から5,000万ドルに対し、SLMは100万から300万ドルで済むという見積もりです。
日本企業にとっての機会
日本でも取り組みが進んでいます。
- 政府: 2024年2月に始まったGENIACで、生成AIの開発を資金面で支援
- Preferred Networks: トヨタの出資を受けてPLaMoシリーズを開発。PLaMo Lite（10億パラメータ）は車両や製造装置に組み込み、クラウドにつながずに動くことを想定
- CyberAgent: 2024年7月に225億パラメータのCyberAgentLM3を公開し、日本語ベンチマークでLlama-3-70B-Instructと同等の性能
- NTT: tsuzumiは6億パラメータ版がCPUで、70億パラメータ版が1枚のGPUで動く
- JAL: 客室乗務員がMicrosoftのPhi-4を使い、オフラインで報告書を作る実証実験
強みとして挙げられるのは二つです。一つは日本語です。日本語はひらがな、カタカナ、漢字が混ざり、主語の省略や敬語もある一方、世界のウェブのコンテンツの約4%しか占めません。だからこそ、日本語に特化したモデルに独自の価値が生まれます。もう一つは製造業です。日本は労働者1万人あたり631台のロボットを配備しているとされ、工場の設備にSLMを組み込んだ品質管理や予知保全に展開しやすい土台があります。
段階的に導入するには
一気にLLMから切り替えるのではなく、段階を踏む進め方が提案されています。
ここで要になるのは、最初の段階です。今どの仕事にAIを使っているのか、そのうちどれが定型で、小さなモデルで足りるのかを見極めないと、配分の比率も決められません。複雑な仕事で性能が落ちるリスクには、LLMへ引き継ぐ仕組みを残すことで備えます。
小さなAIを使いこなす鍵は、任せ方の設計
SLMの時代に問われるのは、モデルの大きさより、仕事の切り分け方です。この業務にはどの情報を渡し、どんな役割を持たせ、どこから先は人や大きなモデルに戻すのか。この設計ができる組織ほど、小さなモデルの効率を生かせます。
拙著『ChatGPT 誰でも1時間でできる！ はじめてのGPTsのつくり方』は、ChatGPTをカスタマイズして自分用のAIアプリ（GPTs）をつくる実践書です。どの情報を渡し、どんな役割を持たせ、どこまで任せるかを設計する手順が身につき、目的に特化したAIを選び、組み立てるときの土台になります。
このテーマを社内の研修や講演で取り上げたい場合は、講演と研修の案内をご覧ください。