用語比較
方策勾配法とActor-Criticの違い｜方策だけを学ぶか、価値関数も一緒に学ぶか（G検定）
方策勾配法は、行動を選ぶ方策そのものを、成績が上がる向きに少しずつ更新する強化学習の手法です。Actor-Criticは、方策（Actor）に加えて価値関数（Critic）も一緒に学び、その評価を方策の更新に使う手法です。方策だけを更新して学ぶのが方策勾配法の基本形、価値関数も併せて学ぶのがActor-Criticと分けると、選択肢を読み分けられます。
ただし、二つは対立する別の流派ではありません。強化学習の標準的な教科書は、方策のパラメータを勾配で学ぶ手法をまとめて方策勾配法と呼び、価値関数も学ぶものをActor-Criticと呼んでいます。Actor-Criticは方策勾配法の一種です。
G検定の公式シラバスでは、機械学習の種類の項目に方策勾配法とActor-Criticが並んでいます。このページは、二つを別のものとして覚えていて、問題文でどちらを指しているのか迷う人を対象にしています。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
方策勾配法
方策のパラメータを、成績の勾配に沿って更新する手法の総称。価値関数を使っても使わなくてもよく、基本形のREINFORCEはエピソードの終わりまでの収益を使って更新する。
Actor-Critic
方策（Actor）と価値関数（Critic）の両方を学ぶ手法。Criticの推定を更新に使うことで、エピソードの終わりを待たずに1ステップごとに学べる。
違いを表で確認
| 比較軸 | 方策勾配法 | Actor-Critic |
|---|---|---|
| 学ぶもの | 方策のパラメータ。価値関数は必須ではない | 方策（Actor）と価値関数（Critic）の両方 |
| 教科書での位置づけ | 方策のパラメータを勾配で学ぶ手法の総称。価値関数も学ぶものを含む | 方策と価値関数の近似を両方学ぶ手法。方策勾配法の一種 |
| 更新に使う値 | 基本形のREINFORCEは、モンテカルロ法でエピソードの終わりまでの収益を使う | Criticが推定した次の状態の価値に、割引をして報酬を足した1ステップ分の収益を使う |
| 更新のタイミング | REINFORCEは、エピソードを生成してから更新する | 1ステップごとに更新できる、完全にオンラインで逐次的なアルゴリズム |
| REINFORCEの弱点 | モンテカルロ法のため、ばらつき（分散）が大きく学習が遅いことがある | Criticの推定を使うため、エピソードの終わりを待たず1ステップで更新できる |
| 区別の手がかり | 方策を直接最適化、方策のパラメータ、勾配 | Actor、Critic、価値関数、方策の評価 |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
方策勾配法とActor-Criticを、別々の手法だと思っている人
標準的な教科書は、方策のパラメータを勾配で学ぶ手法を、価値関数も学ぶかどうかにかかわらず方策勾配法と呼びます。Actor-Criticは、その中で価値関数も併せて学ぶものです。
ActorとCriticの役割が混ざる人
同じ教科書は、Actorは学ばれた方策、Criticは学ばれた価値関数（通常は状態価値関数）を指すと述べます。Actorが行動を選び、Criticがその結果を評価する役割分担です。
REINFORCEとActor-Criticの違いが分からない人
REINFORCEはモンテカルロ法で、エピソードの終わりまでの収益を更新に使うため、ばらつきが大きく学習が遅いことがあると教科書は述べます。Actor-Criticは、Criticの推定値を使って1ステップごとに更新できます。
具体例で使い分ける
例 1
問題文の言葉から選ぶ
説明のために作った例です。ある問題文に、方策を表す部分と、状態の価値を評価する部分を別々に持ち、後者の評価を使って前者を更新する強化学習の手法はどれか、とあります。
- 方策を表す部分と、価値を評価する部分の二つが並んでいます。方策だけを直接最適化する手法ではなく、価値関数も併せて学ぶ手法を聞いています。
- 行動の価値を表やネットワークで学び、そこから行動を選ぶ手法を聞いているなら、Q学習やDQNの側です。
結論: 答えはActor-Criticです。方策そのものを期待報酬が大きくなる向きに直接最適化する、とだけあれば方策勾配法です。
問題文から答えを選ぶ手順
- 1
学ぶ対象の数を読む
方策だけなら方策勾配法の基本形、方策と価値関数の両方ならActor-Criticです。
- 2
役割の言葉を探す
Actor、Critic、評価役という語があればActor-Criticです。
- 3
価値ベースの手法と混ぜない
行動価値を学んで行動を選ぶ手法は、Q学習やDQNです。違いは、Q学習と方策勾配法の比較ページで確認します。
試験での見分け方
- 1方策勾配法は、方策のパラメータを成績の勾配に沿って更新する手法の総称。
- 2Actor-Criticは、方策（Actor）と価値関数（Critic）を両方学ぶ手法で、方策勾配法の一種。
- 3REINFORCEはエピソードの終わりまでの収益を使い、Actor-Criticは1ステップごとにCriticの推定を使う。
誤答しやすい選択肢
Actor-Criticを、方策勾配法とは別系統の手法だと考える
修正: Actor-Criticは方策勾配法の一種です。方策を勾配で更新する点は共通で、価値関数も併せて学ぶ点が違います。
Criticが行動を選ぶ役だと考える
修正: 行動を選ぶのはActor（方策）で、Criticは価値関数でその結果を評価する役です。
方策勾配法は価値関数を一切使わないと考える
修正: 教科書は、価値関数を学ぶかどうかにかかわらず、方策のパラメータを勾配で学ぶ手法を方策勾配法と呼んでいます。価値関数を使わなくてよいのは、行動の選択に使わない点です。
確認問題
Q1方策と価値関数の両方を学び、価値関数の推定を方策の更新に使う強化学習の手法は？
答え: Actor-Critic
方策がActor、価値関数がCriticです。方策勾配法の一種です。
Q2Actor-Criticで、行動を選ぶ役はActorとCriticのどちらか？
答え: Actor
Actorは学ばれた方策で、Criticは学ばれた価値関数です。Criticはその結果を評価します。
Q3エピソードの終わりまでの収益を更新に使い、ばらつきが大きく学習が遅いことがある方策勾配法の基本形は？
答え: REINFORCE
モンテカルロ法による方策勾配法です。Actor-Criticは、Criticの推定を使って1ステップごとに更新できます。
到達チェック
- 方策勾配法とActor-Criticの包含関係を説明できる
- ActorとCriticの役割を言い分けられる
- REINFORCEとActor-Criticの更新に使う値の違いを説明できる
関連ページで確認する
同じ資格で次に知りたいこと
- 局所最適解・大域最適解・鞍点の違い｜勾配がほぼ0になる3つの場面（G検定）
G検定の局所最適解、大域最適解、鞍点の違いを、探索範囲のどこで最良か、勾配がほぼ0になる点でも極小か極大かという軸で整理します。勾配降下法がなぜ止まるか、Deep Learningの教科書の記述、確認問題つき。
- コサイン類似度とユークリッド距離の違い｜向きの近さを測るか、直線距離を測るか（G検定）
G検定のコサイン類似度とユークリッド距離の違いを、ベクトルの向きを見るか、2点の直線距離を見るかという軸で整理します。大きさの影響、値の範囲、文書の類似度での使い分け、数値例と確認問題つき。
- 最大プーリングと平均プーリングの違い｜窓の最大値を残すか、平均を残すか（G検定）
G検定の最大プーリングと平均プーリングの違いを、窓の中から最大値を取るか平均を取るかという軸で整理します。位置ずれへの強さ、パラメータの有無、数値例と確認問題つき。
よくある質問
Q方策勾配法とは？
方策のパラメータを、成績の勾配に沿って更新する強化学習の手法の総称です。価値関数を併せて学ぶものも含みます。
QActor-Criticとは？
方策（Actor）と価値関数（Critic）の両方を学び、価値関数の推定を方策の更新に使う手法です。方策勾配法の一種です。
Q方策勾配法とActor-Criticの違いは？
基本形の方策勾配法は方策だけを更新し、Actor-Criticは価値関数も併せて学んで更新に使います。
QG検定の範囲？
公式シラバスの機械学習の種類の項目に、方策勾配法とActor-Criticが挙がっています。出題の形式は受験前に公式の案内で確認してください。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）