用語比較
Q学習とSARSAの違い｜更新に使う次の行動価値（G検定）
Q学習とSARSAは、どちらも行動の価値を表す表（行動価値）を少しずつ更新して学ぶ強化学習の手法です。違いは、更新の目標に使う次の状態の値です。Q学習は次の状態で最も大きい行動価値を使い、SARSAは次に実際に選んだ行動の価値を使います。最大値を使うのがQ学習、実際の行動を使うのがSARSAと覚えると、選択肢を読み分けられます。
強化学習の定番教科書であるSutton・Bartoの『Reinforcement Learning: An Introduction』は、Q学習をオフポリシーのTD制御、SarsaをオンポリシーのTD制御と整理しています。オンポリシーは学習中に実際に従っている方策の価値を学び、オフポリシーは従っている方策と別の方策（最適方策）の価値を学ぶ、という区別です。
G検定の公式シラバスでは、強化学習と、Q学習の変種で訓練される深層強化学習のDQNが挙がっています。SARSAの語はキーワードに挙がりませんが、Q学習の仕組みを理解する対比として押さえておくと、オンポリシーとオフポリシーの区別で迷いにくくなります。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
Q学習
従う方策と別に最適方策の価値を学ぶオフポリシーの手法。更新の目標に、次の状態での行動価値の最大値を使う。従う方策と無関係に、最適な行動価値を直接近似する。
SARSA
実際に従う方策の価値を学ぶオンポリシーの手法。更新の目標に、次に実際に選んだ行動の価値を使う。実際に従う方策の行動価値を学ぶ。
違いを表で確認
| 比較軸 | Q学習 | SARSA |
|---|---|---|
| 更新の目標に使う値 | 次の状態での行動価値の最大値 | 次に実際に選んだ行動の価値 |
| 方策の区分 | オフポリシー（従う方策と別に、最適方策の価値を学ぶ） | オンポリシー（実際に従う方策の価値を学ぶ） |
| 学ぶ行動価値 | 最適な行動価値を、従う方策と無関係に直接近似する | 現在の行動方策のもとでの行動価値 |
| 名前の由来 | 行動価値Qを学ぶことから | 状態・行動・報酬・次の状態・次の行動の5つ組を更新に使うことから |
| 崖歩きの例での傾向 | 崖の縁に沿う最適な経路を学ぶが、ε-greedyの探索で時々崖に落ち、実行中の成績は悪い | 探索の誤りを考慮し、遠回りだが安全な経路を学ぶ |
| 区別の手がかり | 更新式にmax、オフポリシー | 更新式に次の行動A、オンポリシー |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
Q学習が「最適な行動を実際に選んで学ぶ」手法だと考えている人
Q学習が更新に使うのは、次の状態で最も大きい行動価値です。学習中に実際に選ぶ行動は、探索のためにそれとは違ってよく、そこがオフポリシーと呼ばれる理由です。
オンポリシーとオフポリシーの区別が言葉でしか言えない人
更新式を見るとわかりやすくなります。次の状態の行動価値を、実際に選んだ行動で取ればSARSA（オンポリシー）、最大値で取ればQ学習（オフポリシー）です。
DQNの問題でQ学習が出てきて戸惑う人
DQNの原論文は、モデルがQ学習の変種で訓練されると述べています。深層強化学習の土台にあるのは、このQ学習の更新です。
具体例で使い分ける
例 1
同じ1回の遷移で、2つの更新を計算する
説明のために作った例です。ある状態で行動を取り、報酬1を得て次の状態に進みました。次の状態の行動価値は、左が2、右が6です。実際に選んだ次の行動は左でした。割引率は0.9、現在の行動価値は3、学習率は0.5とします。
- Q学習の目標は、次の状態の最大値を使うので、1＋0.9×6＝6.4です。更新後の値は、3＋0.5×(6.4−3)＝4.7になります。
- SARSAの目標は、実際に選んだ行動（左）の価値を使うので、1＋0.9×2＝2.8です。更新後の値は、3＋0.5×(2.8−3)＝2.9になります。
結論: 同じ遷移でも、Q学習は最大値を、SARSAは実際の行動の値を使うので、更新後の値が変わります。探索で最良でない行動を選ぶほど、2つの差は広がります。
問題文から答えを選ぶ手順
- 1
更新式の目標を読む
次の状態の行動価値の最大値（max）を使っていればQ学習です。次に選んだ行動の価値を使っていればSARSAです。
- 2
学ぶ対象の方策を確かめる
従う方策と無関係に最適方策の価値を学ぶのがオフポリシー、実際に従う方策の価値を学ぶのがオンポリシーです。
- 3
手法の名前から戻る
DQNはQ学習の変種で訓練されるので、更新の考え方はQ学習の側です。
試験での見分け方
- 1Q学習は次の状態の行動価値の最大値を使うオフポリシー、SARSAは次に選んだ行動の価値を使うオンポリシー。
- 2Q学習の行動価値は、従う方策と無関係に最適な行動価値を直接近似する。
- 3DQNは、Q学習の変種で訓練される。
誤答しやすい選択肢
Q学習の更新に、実際に選んだ次の行動の価値を使うと考える
修正: それはSARSAです。Q学習は次の状態の最大値を使います。
SARSAをオフポリシーの手法だと考える
修正: SARSAは、実際に従う方策の行動価値を学ぶオンポリシーの手法です。
探索のある学習中は、Q学習のほうが必ず成績がよいと考える
修正: 崖歩きの例では、Q学習は崖の縁を通る最適な経路を学ぶ一方、探索で時々崖に落ち、実行中の成績はSARSAより悪くなります。
確認問題
Q1更新の目標に、次の状態での行動価値の最大値を使う手法は？
答え: Q学習
オフポリシーのTD制御です。従う方策と無関係に、最適な行動価値を直接近似します。
Q2更新の目標に、次に実際に選んだ行動の価値を使う手法は？
答え: SARSA
オンポリシーのTD制御です。名前は、更新に使う5つ組（状態・行動・報酬・次の状態・次の行動）に由来します。
Q3DQNは、どの手法の変種で訓練されるか？
答え: Q学習
DQNの原論文が述べる内容です。畳み込みニューラルネットワークで価値関数を表し、Q学習の変種で訓練します。
到達チェック
- Q学習とSARSAの、更新の目標に使う値の違いを言い分けられる
- オンポリシーとオフポリシーの違いを、どちらの手法かと結びつけて説明できる
- DQNがQ学習の変種で訓練されることを説明できる
関連ページで確認する
同じ資格で次に知りたいこと
- ワンホット表現と分散表現の違い｜単語の類似性を表せるか（G検定）
G検定のワンホット表現と分散表現の違いを、単語どうしの類似性を表せるかという軸で整理します。word2vecの原論文の記述、数値例、確認問題つき。
- GDPRと個人情報保護法の違い｜適用範囲・漏えい報告・罰則（G検定）
GDPR（EU一般データ保護規則）と日本の個人情報保護法の違いを、適用される範囲、個人データの定義、取扱いの根拠、漏えい報告、罰則で整理します。条文の記述、数値例、確認問題つき。
- 最大プーリングと平均プーリングの違い｜窓の最大値を残すか、平均を残すか（G検定）
G検定の最大プーリングと平均プーリングの違いを、窓の中から最大値を取るか平均を取るかという軸で整理します。位置ずれへの強さ、パラメータの有無、数値例と確認問題つき。
よくある質問
QQ学習とは？
オフポリシーのTD制御の手法です。更新の目標に、次の状態での行動価値の最大値を使い、最適な行動価値を直接近似します。
QSARSAとは？
オンポリシーのTD制御の手法です。状態・行動・報酬・次の状態・次の行動の5つ組を更新に使い、実際に従う方策の行動価値を学びます。
QQ学習とSARSAの違いは？
更新の目標に使う値です。Q学習は次の状態の行動価値の最大値、SARSAは次に実際に選んだ行動の価値を使います。
QG検定の範囲？
公式シラバスのキーワードに、強化学習と、深層強化学習・DQNが挙がっています。SARSAの語はキーワードにありませんが、オンポリシーとオフポリシーの区別の理解に役立ちます。出題の形式は受験前に公式の案内で確認してください。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）