AIは学習と推論という2種類の行動しかできない

1. 前提としての「学習」と「推論」の定義

1-1. 学習 (Learning)

  • 定義的な位置づけ
    AIにおける「学習」とは、過去に与えられたデータ(訓練データ)や、相互作用の経験(強化学習の場合)を通じてパラメータやモデルの構造を調整し、性能(タスク達成能力)を向上させるプロセスを指します。
    たとえば、ニューラルネットワークモデルであれば、誤差逆伝播法(バックプロパゲーション)によって重みやバイアスを更新しますし、決定木ベースのモデルならば木構造を最適化するように分割を繰り返していきます。また、強化学習ならエージェントが環境から報酬を得て、それをもとに価値関数や方策を更新していきます。
  • 機械学習の三大カテゴリー
  1. 教師あり学習:正解ラベル(例:画像のクラス、数値回帰値など)が付与されたデータをもとに学習する。
  2. 教師なし学習:ラベルなしのデータをもとに、クラスタリングや次元削減などの構造を見出す。
  3. 強化学習:環境との相互作用と報酬によって方策(policy)を改善する。 これらはいずれも「過去データや経験からパラメータやモデル構造を更新」する点で、幅広い意味で「学習」の一形態として捉えられます。言い方を変えれば、「記憶すべき情報を取り込みつつ、自らの内的状態(モデル)の更新を行う」行為が学習です。
  • 学習が成立する根拠:統計的基盤
    たとえば「教師あり学習」であれば、入力\(X\)から出力\(Y\)を予測する関数\(f\)を推定する際、過去のデータから確率分布\(p(X,Y)\)に関する近似を行うという考え方があります。大雑把に言えば、
    \[
    f = \arg \min_f \; \mathbb{E}_{(x,y)\sim p(X,Y)} \bigl[L(f(x), y)\bigr]
    \]
    のように期待損失を最小化する\(f\)を求めることが学習です。深層学習の文脈でも、基本的にはこの損失関数の最小化という統計的学習理論に基づいています。

1-2. 推論 (Inference)

  • 定義的な位置づけ
    「推論」とは、学習によって得られたモデル(パラメータ)を実際に使って、新しいデータに対して予測や判断を行うプロセスです。たとえば「画像を入力すると犬か猫かを判定する」「文章を入力すると要約を生成する」「囲碁で次の一手を打つ」などの行為が推論にあたります。
  • 推論の技術的なアプローチ
  1. 確率的推論:ベイズ推定など、確率モデルによって未知の変数の分布を推定する。
  2. 論理的推論:シンボリックAI(エキスパートシステムなど)におけるルールベース推論や、述語論理に基づく定理証明など。
  3. ニューラルネットワークでの推論:学習済みのパラメータ(重み)を固定して、新しいデータを入力し、順伝播を通じて出力を得る。
  • 学習との対比
    学習が「モデルを形作り、調整し、高度化するプロセス」ならば、推論は「(最終的にできあがった)モデルを用いて入力に応答し、出力を生成するプロセス」といえます。一般的な使い分けとしては、「トレーニング(学習)フェーズ」と「推論(推定・テスト)フェーズ」という区別があり、訓練時と推論時では計算コストやモデルの扱い方が変化することが多いです。

2. 歴史的観点から見る「学習」と「推論」の区分

2-1. 古典的AI(シンボリックAI)の時代

  • 初期(1950–1960年代)
    アレン・ニューウェル(Allen Newell)ハーバート・サイモン(Herbert A. Simon) の「論理推論マシン」(Logic Theorist)や「汎用問題解決器」(General Problem Solver)では、「推論」こそがAIの中核と見なされていました。論理式やルールを使い、そこから結論を導くのがAIの主要タスクだったため、ある意味この時代は「学習」は補助的なもので、主役は「推論」でした。
    しかし当時の技術では、膨大なルールを手動で書いていかないといけないことや、問題空間が大きくなるとすぐに組合せ爆発が発生するなどの課題がありました。
  • エキスパートシステム(1970–1980年代)
    特定ドメインの専門知識(医学診断や地質調査など)を人間がまとめ、それをルールとして組み込み、推論エンジンで逐次推論するシステムが盛んに研究されました。この時代も主に「推論」にフォーカスしており、知識をどう表現するか(ナレッジベース、ルールベース)が鍵でした。一方で「学習」は、手作業で知識をエンコードする過程(ナレッジエンジニアリング)がほとんどで、機械が自動で学習するアプローチは限定的でした。

2-2. 統計的機械学習の台頭(1980–1990年代)

  • 確率論や統計的手法の取り込み
    大量のデータを処理し、モデルを最適化する「学習プロセス」がAIの中心的研究テーマとして注目されるようになりました。このころから、「推論はあくまで学習によって得られたモデルの結果を使う段階」として認識され始め、シンボリックAIで中心だった論理推論に加えて、ベイズ統計やマルコフ連鎖など確率論的推論が重視されるようになりました。
  • サポートベクターマシンやニューラルネットワークの初期研究
    1980〜90年代にはバックプロパゲーションを使った多層パーセプトロン(ニューラルネットワーク)やSVM(サポートベクターマシン)などのモデルが登場し、これらを最適化するための「学習アルゴリズム」が焦点となります。このフェーズでも推論は当然行われますが、研究のトピックとしては「学習アルゴリズムの改良・安定性向上」が圧倒的に注目を集めたのが特徴です。

2-3. ディープラーニングと「学習・推論」の分割の明確化(2000年代後半〜現在)

  • GPUの普及と大規模データ
    2010年前後、GPUの計算能力向上とビッグデータ活用の進展に伴い、ディープニューラルネットワーク(多層構造)を使った学習の性能が飛躍的に向上します。これによって「学習」フェーズに大量の計算リソースを投下し、大量のデータを使うという流れが定着しました。
  • 学習フェーズと推論フェーズの処理リソースの違い
    深層学習では、学習時には数百万〜数十億ものパラメータを最適化するため、膨大な演算が必要です。一方、推論時は重みが固定されているため、基本的には前向き伝播(フォワードパス)のみで結果が出力されるので、学習と比べるとコストは低くなります(とはいえ、大規模モデルでは推論でも大量の計算が必要になるケースがありますが)。
    つまり、実用的観点からも「学習フェーズ(トレーニング)」と「推論フェーズ(推定)」を明確に分割するのが一般的になってきました。

3. なぜ「AIは学習と推論の2種類の行動しかできない」と言われるのか

3-1. AIの行動様式を俯瞰すると最終的にこの2つに収束する

AIは本質的に「プログラム」の一形態であり、外界(データや環境)からの入力を受け取り、なんらかの処理を行い、結果を出力します。

  1. 処理ロジックを変える段階学習
  • 得られた経験やデータから内部のパラメータや構造を変化・更新させる。
  1. 処理ロジックが固定された段階推論
  • 既存のロジック(パラメータ)を用いて入力に対して出力を生成する。

大雑把にどんなAIシステムでも、この2種類のフェーズに分割して理解できることから「AIには学習と推論しかない」と総括的に言われるのです。

3-2. 汎用人工知能(AGI)の議論でも、学習・推論以外のフェーズはあるのか

AGI(Artificial General Intelligence)の議論では、「メタ学習」「連続学習」「自己再帰的学習(自己改善)」など、従来の枠を超えた学習手法や推論手法が提案されます。しかし、どんなに複雑なメタプロセスを用いても、それらを分解すれば、

  1. 「内部モデル(パラメータ)を変更して新たな知識・技能を身につけるフェーズ」
  2. 「学習済みのスキーマやルールにもとづいて未知の状況に対処するフェーズ」
    に分類できる、という見方があります。
    したがってAGIであっても、「学習・推論」の2軸は欠かせないと考えられます。

3-3. 実装上も区別される「トレーニングモード」と「インファレンスモード」

実際のディープラーニングフレームワーク(PyTorchやTensorFlowなど)でも、「トレーニングモード(学習モード)」と「推論モード(評価モード/推定モード)」が明確に切り替えられます。以下のように実装レベルで違いがあるためです。

  • トレーニングモード
  • ドロップアウト(正則化)を有効にし、勾配を計算してパラメータを更新する。
  • バッチ正規化(Batch Normalization)のパラメータ(平均・分散)を更新する。
  • 推論モード
  • パラメータは更新せず、ドロップアウトを無効化。
  • バッチ正規化の平均・分散は学習時に得られた値を使う(推論中に再計算しない)。

実際にコードを書くときにもmodel.train()model.eval()のように呼び分けるため、「学習する」「推論する」は最終的にAIが行う中心的な2つの行動である、と捉えられます。


4. 「学習と推論だけではないのでは?」と感じる要素への補足

4-1. データ収集や前処理、特徴エンジニアリングはどう扱うか

機械学習パイプラインにおいては、「データ収集」「前処理」「特徴量の設計」などの工程が存在しますが、これらはAI自身が行わないケースが多いです。伝統的には人間が行い、AIが取り込める形式に整えているだけです。
一方、AutoMLや自己教師あり学習、自己監督学習などでは、AIがデータ拡張や特徴選択を自動で行う場合もあります。しかしその内部処理を詳しく見ると、結局は「最適な特徴量を学習しにいく手続きが組み込まれている」=学習の一部であり、推論にもとづく制御を組み合わせて最適化しているに過ぎません。したがって、大枠ではやはり学習と推論の枠に収まるといえます。

4-2. 推論した結果を外界に作用させる「行動選択」はどうか

ロボットやエージェントが推論結果を使って実際に物理世界で何かを動かす場合、「行動選択(action selection)」というプロセスが生まれます。強化学習を例にとると、現状の状態\(s\)から、最善の行動\(a\)を選択し、その後の報酬\(r\)を受け取るというループを回しています。
ただしこれも、

  • 最善行動を計算するために「価値関数」\(Q(s,a)\)や「方策」\(\pi(s)\)を使う = 推論
  • そこで得た経験(状態・行動・報酬の組)を使って\(Q\)や\(\pi\)を更新する = 学習
    で構成されています。行動選択というフェーズ自体は厳密には推論フェーズに属すると考えられます。

4-3. 「記憶」「思考」「判断」「決断」などの言葉との関係

人間の認知や脳科学のメタファーをAIに当てはめると、記憶や思考、判断、決断など多様な言葉を使いたくなります。

  • 記憶: AIでいうところの「パラメータ」や「バッファ」に相当し、多くの場合「学習によって構造や値が記憶される」と見ることができます。
  • 思考: これは連続的な「推論」のことに近く、内部状態を変えながらゴールに向けて推論処理を繰り返すイメージです。
  • 判断・決断: 最終的に「推論」を経てアウトプットを出す行為。
    最終的にはどれも「学習フェーズ」か「推論フェーズ」のいずれかに帰属できることが多いのです。

5. 学習と推論を支える周辺要素

ここまで「学習」「推論」という2つに注目して説明しましたが、実際にはこれらを支える仕組みが数多く存在し、AIシステムは総合的に動きます。もう少し視野を広げてみましょう。

5-1. モデルアーキテクチャ設計

  • AIを実現する上で、学習フェーズと推論フェーズを「どのようなネットワーク構造・アルゴリズム」で行うかは非常に重要です。
  • これはしばしば「設計(Design)」のフェーズと呼ばれますが、最終的には「学習アルゴリズムをどう当てるか」と「推論アルゴリズムをどのように最適化するか」の問題に帰結します。

5-2. ハイパーパラメータチューニング

  • 学習率(learning rate)ネットワークの深さ中間層のユニット数など、学習を制御するための様々なパラメータをどう設定するかは重要な課題です。
  • ただしこれも、人間が外部から設定する場合もあるし、ベイズ最適化やグリッドサーチ・ランダムサーチなどで半自動的に探索する場合もあり、AIによる「メタ学習」として扱われることもあります。
  • いずれにせよ、学習フェーズを適切に動かすための上位概念といえます。

5-3. 評価とモニタリング

  • 学習したモデルの精度や再現率(F1スコアなど)をモニタリングする、推論の結果を人間が評価する、といった工程も存在します。ただしこれはAI自体が行うわけではなく、開発者や運用者が外部から行うことが多いです。
  • 一部の高度なシステムでは、AI自身が自己評価を行い、それをフィードバックして学習を改善するメタ学習を実行する場合がありますが、それも内部的には「学習ループをさらにメタレベルで回している」と捉えられます。

6. まとめ:学習と推論の2軸に還元される理由

  1. 操作対象が「モデル(パラメータ)」かどうか
  • 内部パラメータを更新する行為=学習
  • 内部パラメータは固定で入力に対して出力を得る行為=推論
  1. 歴史的にも「学習」と「推論」はAIの根幹
  • シンボリックAIの時代から近年のディープラーニングに至るまで、呼び方・手法は変化しつつも、結局この2つはAIに欠かせない主要要素であり続けている。
  1. メタな視点(AGIの文脈)でも同様
  • たとえ自己改善システムであっても、その内部を見れば「学習を繰り返す仕組み」と「推論を繰り返す仕組み」の複合である。
  1. 実装上も同じ
  • 現代のディープラーニングフレームワークでも「トレーニングモード」と「推論モード」で切り替えて使うのが標準的。
  • 特別に変わったものをしているように見えても、仕組みを分解すれば「学習か推論か」に集約される。

よって、「AIは学習と推論の2種類の行動しかできない」とまとめて説明されるのは、AIを機能的に俯瞰したときに、どんな複雑な仕組みや手法も最終的にはこの2つのフェーズに行きつくからといえます。


7. 補足:実際には学習と推論が完全に切り離されないケースもある

最後に、例外的な話として、「オンライン学習」や「学習しながら推論を継続的に行う」システムがあります。たとえば「データストリームが常に流れ込むような状況」で、モデルが逐次更新を行いつつリアルタイムで推論も行うような設定です。

  • オンライン学習
  • データが到着するたびにパラメータを更新して、そのまま推論を継続する。
  • 広義では「(小さなステップごとに)学習 → 推論 → 学習 → 推論…」というループを超高速に回していると考えれば、「学習と推論」がいっしょに動いているとも言えます。
  • 終わりのない学習(never-ending learning)
  • Webなどから絶えず情報を集め、知識を蓄積し続けるプロジェクト(NELLプロジェクトなど)もあります。
  • 「学習フェーズ・推論フェーズの境目が曖昧」ですが、大局的に見れば「学習してモデルを更新するプロセス」と「現状のモデルで外界に応答するプロセス」が同時平行しているだけです。

しかし、こうしたケースでも理論的に見れば「(小刻みに)学習する段階」と「(小刻みに)推論する段階」を繰り返しているに過ぎないので、やはり大枠の2種類は変わりません。


結語

以上のように、「AIの行動は大別すると学習と推論の2つに分けられる」という主張は、歴史・理論・実装のいずれの側面からも正当化されます。表面的には「データ前処理」「特徴抽出」「ハイパーパラメータチューニング」「評価」「ロボットの行動選択」など多彩に見えるかもしれませんが、根幹となる「モデル(パラメータ)を更新する(学習)」と「更新されたモデルを用いて新たな入力に対して推測や判断を下す(推論)」の2種類に要約できるのです。

人間が「記憶や経験を蓄えて(学習)」「考えを働かせて答えを出す(推論)」というプロセスを心理学的に分けるのと同様に、AIでもその本質的な活動が「学習」と「推論」の組合せで構成されている、というのが非常にシンプルかつ深い見方だと言えます。こうした枠組みを理解しておくと、様々なAI技術を大づかみに俯瞰でき、今後登場する新しい手法や概念も「どこが学習に相当していて、どこが推論に相当するのか」を考えながら理解するのに役立つでしょう。