用語比較
Q学習と方策勾配法の違い
Q学習と方策勾配法は、どちらも強化学習の手法です。違いは、学習する対象にあります。Q学習は状態と行動ごとの価値（行動価値）を推定し、方策勾配法は行動を選ぶ方策そのものを直接最適化します。
G検定の設問では、手法の名前と学習対象を結びつけられるかが問われます。行動価値を改善していくならQ学習、方策のパラメータを期待報酬が大きくなる方向へ更新するなら方策勾配法、と最初に切り分けます。
このページでは、学習する対象、方策の得かた、代表的な発展形という三つの軸で比較します。価値ベースと方策ベースという分け方、Actor-Criticが両者の間に位置する理由、DQNとの関係まで、設問の手がかり語から判断できる形で整理します。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
Q学習
状態ごとの特定の行動の質（行動価値）の評価を逐次改善する。行動価値から間接的に方策を得る価値ベースの手法。
方策勾配法
方策をパラメータで表し、性能指標の勾配に沿って方策そのものを直接更新する。方策ベースの手法。
違いを表で確認
| 比較軸 | Q学習 | 方策勾配法 |
|---|---|---|
| 学習する対象 | 行動価値（状態と行動ごとの質の評価） | 方策（状態から行動を選ぶ規則）そのもの |
| 方策の得かた | 行動価値を推定してから、間接的に方策を導く | 期待報酬が大きくなる方向へ、方策を直接最適化する |
| 分類 | 価値ベースの手法 | 方策ベースの手法 |
| 代表的な原論文 | Watkins・Dayan『Q-learning』（1992） | Suttonほか『Policy Gradient Methods for Reinforcement Learning with Function Approximation』（1999） |
| 深層学習との組み合わせ | DQNはQ学習の変種で畳み込みニューラルネットワークを訓練する | ニューラルネットワークなどで方策をパラメータ化して勾配で更新する |
| 選択肢で探すキーワード | 行動価値、価値関数、動的計画法 | 方策のパラメータ、勾配、期待報酬、直接最適化 |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
強化学習の手法を名前だけで覚えている人
どちらも強化学習の手法という点は共通です。設問は多くの場合、何を学習するのかを手がかりにします。行動価値を学ぶのか、方策を学ぶのかで、二つを切り分けます。
価値ベースと方策ベースの分け方があいまいな人
価値ベースは行動価値を推定してから方策を導く方法、方策ベースは方策を直接更新する方法です。Q学習は価値ベース、方策勾配法は方策ベースです。
Actor-Criticの位置づけで迷う人
Actor-Criticは、方策を表すActorと、価値関数を推定するCriticを分けて持ちます。Criticの評価を使ってActorの方策を更新するため、価値と方策の両方を扱う枠組みです。
具体例で使い分ける
例 1
設問が「行動価値を逐次改善する」と述べるとき
手法名を選ぶ設問で、学習対象が行動価値と書かれています。
- Q学習の原論文は、特定の状態での特定の行動の質の評価を逐次改善することで働く手法と説明します。
- 方策勾配法は、評価ではなく方策そのものを更新する手法です。
結論: 行動価値の逐次改善が決め手なら、Q学習を選びます。
例 2
設問が「方策を期待報酬が大きくなる方向へ直接更新する」と述べるとき
手法名を選ぶ設問で、方策の直接最適化が書かれています。
- 方策をパラメータ化し、性能指標の勾配に沿って更新するのは方策勾配法です。
- 価値関数を近似して間接的に方策を得る方法とは、学習対象が異なります。
結論: 方策の直接更新が決め手なら、方策勾配法を選びます。
例 3
設問が「DQN」の学習方法を尋ねるとき
深層強化学習の代表例として、DQNの土台になる手法を選ぶ設問です。
- DQNの原論文の抄録は、モデルが畳み込みニューラルネットワークで、Q学習の変種で訓練されると述べます。
- 出力は将来の報酬を推定する価値関数です。
結論: DQNの土台として問われたら、Q学習を選びます。
問題文から答えを選ぶ手順
- 1
学習対象を探す
行動価値・価値関数とあればQ学習の側、方策のパラメータ・方策そのものとあれば方策勾配法の側です。
- 2
方策の得かたを確認する
価値を推定してから間接的に方策を導くなら価値ベース、方策を直接最適化するなら方策ベースです。
- 3
勾配への言及を見る
性能指標や期待報酬の勾配に沿って更新するという記述は、方策勾配法に対応します。
- 4
両方を持つ枠組みを除外する
ActorとCriticの両方が出てくるなら、Actor-Criticです。単独のQ学習や方策勾配法とは区別します。
試験での見分け方
- 1行動価値を推定・改善するのはQ学習。
- 2方策そのものを直接最適化するのは方策勾配法。
- 3価値を推定してから間接的に方策を導くのは価値ベースの手法。
- 4性能指標の勾配に沿って方策のパラメータを更新するのは方策勾配法。
- 5DQNはQ学習の変種で畳み込みニューラルネットワークを訓練する。
- 6ActorとCriticを分けて持つ枠組みはActor-Critic。
誤答しやすい選択肢
どちらも行動価値を学習すると思う
修正: 行動価値を学ぶのはQ学習です。方策勾配法は方策そのものを直接最適化します。
方策勾配法を価値ベースの手法と答える
修正: 方策勾配法は、行動価値を推定してから方策を導く価値ベースの手法とは学習対象が異なる、方策ベースの手法です。
DQNを方策勾配法の一種と思う
修正: DQNの原論文は、Q学習の変種で訓練すると述べます。出力は将来の報酬を推定する価値関数です。
Actor-CriticをQ学習の別名と思う
修正: Actor-Criticは、方策を表すActorと価値関数を推定するCriticを分けて持つ枠組みです。Q学習そのものではありません。
確認問題
Q1状態ごとの行動の質（行動価値）の評価を逐次改善する強化学習の手法はどちらですか？
答え: Q学習
Q学習は、特定の状態での特定の行動の質の評価を逐次改善することで働く手法です。
Q2方策をパラメータで表し、期待報酬が大きくなる方向へ方策を直接更新する手法はどちらですか？
答え: 方策勾配法
方策勾配法は方策そのものを直接最適化する手法で、行動価値を介して間接的に方策を導く手法とは学習対象が異なります。
Q3DQNが畳み込みニューラルネットワークの訓練に用いた強化学習の手法はどちらの変種ですか？
答え: Q学習の変種
DQNの原論文の抄録は、モデルをQ学習の変種で訓練すると述べています。
到達チェック
- Q学習の学習対象を行動価値として説明できる
- 方策勾配法の学習対象を方策そのものとして説明できる
- 価値ベースと方策ベースの違いを説明できる
- DQNの土台になる手法を答えられる
- Actor-Criticが両方を扱う枠組みだと説明できる
関連ページで確認する
同じ資格で次に知りたいこと
- ドロップアウトとバッチ正規化の違い
ドロップアウトとバッチ正規化の違いを、何をするか、狙い、学習時と予測時の扱い、G検定での判断手順と確認問題まで解説します。
- RNNとTransformerの違い
RNNとTransformerの違いを、計算の進め方、並列化、語順の扱い、原論文の数値、G検定での判断手順と確認問題まで解説します。
- シグモイド関数とReLU関数の違い
シグモイド関数とReLU関数の違いを、式、出力範囲、負の入力の扱い、G検定での判断手順、計算例と確認問題まで解説します。
よくある質問
QQ学習と方策勾配法は、どちらも強化学習ですか？
はい。どちらも強化学習の手法です。学習する対象が、行動価値か方策かで異なります。
QQ学習は何を学習しますか？
状態ごとの特定の行動の質の評価（行動価値）を逐次改善します。原論文は、すべての行動をすべての状態で繰り返し試し行動価値が離散的に表されるなら、最適な行動価値に確率1で収束することを証明しています。
Q方策勾配法は何を最適化しますか？
方策をパラメータで表し、性能指標の勾配に沿って方策のパラメータを更新します。価値関数を近似して間接的に方策を得る方法とは、学習する対象が異なります。
Q試験中に最短で見分ける方法は？
学習対象を見ます。行動価値ならQ学習、方策そのものなら方策勾配法です。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）