同じ経験から違う行動を学ぶ、Q学習とSARSAの差は前提の差である

同じ崖のそばで、同じ経験を積んだ二つのエージェントが、違う道を選ぶようになります。教科書はこの差を、オフポリシーとオンポリシーという二語で片づけがちですが、二語の名札を覚えても、なぜ道が分かれるのかは一つも分かりません。差の正体は、更新式のたった一か所に入っている、自分の将来の行動をどう見積もるかという前提の違いです。この記事では、強化学習の枠組みと代表的な手法を押さえたうえで、同じデータから違う結論が出る構図を、Q学習とSARSAの比較で示します。

強化学習は、状態と行動と報酬の枠組みで問題を書きます

強化学習では、学んで行動を選ぶ主体をエージェント、働きかける外の世界を環境と呼びます。エージェントは状態を観測して行動を選び、環境は行動に応じて変化して報酬を返します。各状態でどの行動を選ぶかを決める戦略が方策です。将来どれだけ報酬を得られそうかの見積もりが価値関数で、状態の価値V(s)と、状態と行動の組の価値Q(s, a)があります。

この問題を数理的に書く枠組みがマルコフ決定過程（MDP）で、状態空間、行動空間、遷移確率、報酬関数、割引率γの五つでできています。割引率は0以上1未満の係数で、小さいほど近い将来の報酬を重く見ます。最適な価値を、いま得られる報酬と、次の状態の価値を割り引いたものの和として再帰的に定めるのがベルマン方程式です。環境の変化のモデルを学んで使う方式をモデルベース、モデルを持たずに経験から直接学ぶ方式をモデルフリーと呼びます。

手法の違いは、何が分かっている前提で学ぶかの違いです

動的計画法は、遷移が完全に分かっている前提でベルマン方程式を繰り返し解きます。モンテカルロ法は、一連の試行を最後まで終えてから累積報酬を集計します。時間差分学習（TD学習）はその中間で、いまの見積もりと実際に得た報酬の差を使って、一歩ごとに価値を更新します。その代表がQ学習とSARSAです。

Q学習: Q(s, a) ← Q(s, a) + α × ( r + γ × 次の状態での最大のQ値 − Q(s, a) )
SARSA: Q(s, a) ← Q(s, a) + α × ( r + γ × 実際に選んだ次の行動のQ値 − Q(s, a) )

違いは、次の一手をどう見積もるかだけです。Q学習は、次は最善の行動を選ぶはずだという前提で見積もります（オフポリシー）。SARSAは、次も自分はいまの方策どおりに、ときどきランダムに動くという前提で見積もります（オンポリシー）。

崖のそばでは、前提の違いがそのまま道の違いになります

強化学習の教科書でよく使われる例に、崖歩きの問題があります。スタートからゴールまで格子の上を歩き、崖のマスに落ちると大きな罰を受けてスタートに戻されます。最短の道は崖のすぐ縁を通ります。探索のために、一定の確率εでランダムに動くとします。

Q学習は、次は最善を選ぶ前提で見積もるので、崖の縁を通る最短の道を最も価値が高いと学びます。ところが実際には探索でときどき足を滑らせ、学習中は崖に落ち続けます。SARSAは、自分がときどきよろめくことを見積もりに入れるので、崖から一歩離れた、少し遠回りの道を学びます。学習中に得る報酬は、SARSAのほうが多くなります。

二つは同じ崖で、同じ経験をしています。違うのは、自分は次に完璧に動けるか、という前提だけです。同じ赤字の数字を見て、単年度の黒字を前提にする経理部長は撤退を、市場シェアを前提にする事業部長は追加投資を主張するのと、構図は同じです。前提を書かずに結論だけを戦わせる会議は、Q学習とSARSAに、どちらの道が正しいかを多数決させているのと変わりません。票をいくら数えても、どちらの前提が自分たちの環境に合うかという問いには、一票も答えていないからです。

前提の差が消える条件もあります

この差は、いつでも残るわけではありません。学習が進むにつれて探索の確率εを少しずつ0に近づけていけば、SARSAも最終的には最短の道に近づくことが知られています。よろめかなくなったエージェントにとって、崖の縁はもう危険ではないからです。どちらの道が正しいかは、学習の後も探索を続けるのか、つまり本番の環境でもよろめく可能性があるのかという条件で決まり、データだけでは決まりません。

深層強化学習でも、置いた前提が学ぶ中身を変えます

状態や行動の種類が非常に多いと、価値を表で持てません。そこでニューラルネットワークで価値関数や方策を近似するのが深層強化学習です。DQNはQ学習にニューラルネットワークを組み合わせ、過去の経験を保存してランダムに取り出す経験再生と、更新を安定させるターゲットネットワークを使います。方策を学ぶアクターと、それを価値で評価するクリティックを組み合わせたアクター・クリティック法や、複数のエージェントが並行して学ぶA3Cもあります。

課題も前提の問題として読めます。報酬がまれにしか得られない問題では、補助的な報酬をどう置くかが学ぶ中身を変えます。環境の一部しか観測できない問題（POMDP）では、見えていない部分をどう仮定するかが方策を変えます。エージェントは与えられた報酬に忠実なので、報酬の置き方を誤れば、意図しない行動を正確に学びます。ディープラーニングと強化学習を組み合わせたAlphaGoがプロ棋士を破ったことは広く知られていますが、囲碁は勝ち負けという報酬をはっきり定義できる世界でした。KPIを一行で書いて安心している組織は、崖の縁を全速力で走るQ学習と同じ見積もりをしています。自分たちが次に完璧に動けることを、黙って前提にしているからです。

あなたのチームで意見が割れている判断を一つ思い浮かべてください。賛成する人と反対する人は、それぞれ、自分たちが次にどれだけうまく動けると見積もっているでしょうか。

この記事の背景にある考え方は、拙著『GoogleのAI NotebookLM 意思決定の強化書』の1章1節「意思決定の構造と前提の要素」に書きました。赤字の新規事業を前に、経理部長は単年度の黒字を、事業部長は将来の市場シェアを前提にしているので、同じ売上データから真逆の結論が出る、という例から、判断を根拠、前提、結論の三層に分ける話です。そこには「前提が違えば、同じデータからでも結論は真逆になってしまいます。」とあります。この節を読むと、意見が割れた場面で、争点を結論から前提へ移し、それぞれの側が何を当然としているのかを自分で書き出せるようになります。