AI資格ドリル
資格を選ぶ

用語比較

DDPGとSACの違い|決定論的な方策で連続行動を扱うか、エントロピーを最大化する確率的な方策で安定させるか(強化学習)

DDPGとSACは、どちらも連続的な行動を扱えるアクタークリティック型の強化学習アルゴリズムで、違いは方策の形と目的関数です。DDPG(2015年)は決定論的方策勾配法に基づき、SAC(2018年)は最大エントロピー強化学習に基づく方策オフ型の確率的な手法です。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。

公式一次資料と照合した内容
DDPGが決定論的方策勾配に基づくアクタークリティック型のモデルフリーのアルゴリズムで、Deep Q-Learningの考え方を連続行動の領域へ適応させたこと、20を超える物理シミュレーションの課題を同じ設定で解くことは原論文(arXiv:1509.02971)の要旨を、SACが最大エントロピー強化学習の枠組みに基づく方策オフ型のアクタークリティックで、アクターが期待報酬とエントロピーを同時に最大化すること、ICML 2018の論文であること、先行手法より安定していることは原論文(arXiv:1801.01290)の要旨を、2026-11-15に照合しています。
編集部が学習用に整理した内容
見分け方の手がかり語、判断手順、確認問題、取り違えの注意は編集部の学習上の整理です。出題実績に基づくものではありません。

資格ごとの公式資料の一覧

DDPGとSACの要点

公式一次資料と照合:用語の定義は公式一次資料と照合しています。

DDPG

Deep Q-Learningの成功の考え方を連続行動の領域へ適応させた、決定論的方策勾配法に基づくアクタークリティック型のモデルフリーのアルゴリズム。

SAC

最大エントロピー強化学習の枠組みに基づく、方策オフ型のアクタークリティック。アクターは期待報酬とエントロピーを同時に最大化し、できるだけランダムに振る舞いながら課題を達成しようとする。

見分け方

選択肢に「決定論的方策勾配」「DQNの考え方を連続行動へ」があればDDPG、「最大エントロピー」「確率的なアクター」「エントロピーを最大化」があればSAC。

違いを表で確認

比較軸DDPGSAC
名前の意味DDPG:Deep Deterministic Policy Gradient(深層決定論的方策勾配法)SAC:Soft Actor-Critic(ソフトアクタークリティック)
方策の形DDPG:決定論的方策勾配に基づくSAC:確率的なアクター(stochastic actor)を使う
目的関数DDPG:論文の要旨は、決定論的方策勾配に基づく点を述べるSAC:期待報酬に加えてエントロピーも最大化する。最大エントロピー強化学習の枠組みに基づく
出発点DDPG:Deep Q-Learningの成功の考え方を連続行動の領域へ適応させたSAC:高いサンプル複雑度と、慎重なハイパーパラメータ調整が要る不安定な収束という2つの課題への対処を掲げた
論文が示す成績DDPG:同じ学習アルゴリズム・ネットワーク構造・ハイパーパラメータで20を超える物理シミュレーションの課題を頑健に解く。多くの課題で生の画素入力から端から端まで学べるSAC:連続制御のベンチマークで先行の方策オン型・オフ型の手法を上回り、乱数の種が違っても似た性能になる安定性を示す

公式一次資料と照合:G検定の一次資料で確認一次資料の一覧を見る

どこで迷っているかを切り分ける

01

「決定論的方策勾配」「DQNの成功を連続行動へ」という語が出る人

DDPGです。連続行動の領域で動くアクタークリティック型のアルゴリズムです。

02

「最大エントロピー」「確率的なアクター」という語が出る人

SACです。期待報酬とエントロピーを同時に最大化する方策オフ型の手法です。

03

「乱数の種が違っても安定」という語が出る人

SACです。論文は、ほかの方策オフ型の手法と対比して、乱数の種が違っても似た性能になる安定性を述べます。

具体例で使い分ける

編集部の整理

例 1

選択肢に「決定論的方策勾配」が出る場合(架空の場面)

「決定論的方策勾配に基づき、連続的な行動の領域で動くアクタークリティック型のアルゴリズムはどれか」という問いがあります。

  • 決定論的方策勾配に基づくのはDDPGです。
  • SACは、確率的なアクターと最大エントロピーの枠組みが特徴です。

結論: 決定論的方策勾配ならDDPGです。

例 2

選択肢に「エントロピーを最大化」が出る場合(架空の場面)

「期待報酬に加えて方策のエントロピーも最大化する方策オフ型のアクタークリティックはどれか」という問いがあります。

  • アクターが期待報酬とエントロピーを同時に最大化するのはSACです。
  • DDPGは決定論的方策に基づきます。

結論: エントロピーの最大化ならSACです。

例 3

発表年を問われる場合

2つのうち、2018年に発表された手法を選ぶ問いがあります。

  • DDPGのarXiv投稿は2015年9月、SACのarXiv投稿は2018年1月です。

結論: 2018年ならSACです。

問題文から答えを選ぶ手順

編集部の整理:見分け方の手がかり語、判断手順、確認問題、取り違えの注意は編集部の学習上の整理です。出題実績に基づくものではありません。

  1. 1

    方策の形を見る

    「決定論的」ならDDPG、「確率的なアクター」ならSACです。

  2. 2

    目的を見る

    「期待報酬とエントロピーの最大化」はSACの説明です。

  3. 3

    出発点を見る

    「Deep Q-Learningの考え方を連続行動へ」はDDPGの説明です。

  4. 4

    発表年を見る

    2015年ならDDPG、2018年ならSACです。

試験での見分け方

編集部の整理

  • 1DDPGは、決定論的方策勾配に基づく、連続行動のためのアクタークリティック型のモデルフリーのアルゴリズムである。
  • 2SACは、最大エントロピー強化学習の枠組みに基づく、方策オフ型のアクタークリティックで、アクターは確率的である。
  • 3SACのアクターは、期待報酬とエントロピーを同時に最大化する。

誤答しやすい選択肢

SACの方策を決定論的と考える

修正: SACの論文の題名に「確率的なアクター(Stochastic Actor)」とあります。決定論的方策勾配に基づくのはDDPGです。

DDPGを離散行動の手法と考える

修正: DDPGの論文は、連続行動の空間で動くアルゴリズムと述べます。Deep Q-Learningの考え方を連続行動の領域へ適応させたものです。

SACを方策オン型と考える

修正: SACの論文は、自らを方策オフ型のアクタークリティックと位置づけています。

確認問題

Q1Deep Q-Learningの成功の考え方を連続行動の領域へ適応させた、決定論的方策勾配に基づくアルゴリズムは?

答え: DDPG

2015年の論文で提案されたアクタークリティック型のモデルフリーのアルゴリズムです。

Q2期待報酬に加えてエントロピーも最大化する、確率的なアクターを使う方策オフ型のアルゴリズムは?

答え: SAC

2018年の論文で提案され、最大エントロピー強化学習の枠組みに基づきます。ICML 2018の論文です。

Q3SACの論文が、既存の深層強化学習の手法の課題として挙げた2つは?

答え: 高いサンプル複雑度と、不安定な収束

不安定な収束のため、慎重なハイパーパラメータ調整が要ると述べられています。

到達チェック

  • DDPGの方策の形(決定論的)を言える
  • SACの目的(期待報酬とエントロピーの最大化)を言える
  • 2つの発表年(2015年と2018年)の前後を取り違えない

同じ資格で次に知りたいこと

よくある質問

QDDPGとSACの違いは?

A

DDPGは決定論的方策勾配に基づくアクタークリティック型のアルゴリズムで、Deep Q-Learningの考え方を連続行動へ適応させました。SACは最大エントロピー強化学習の枠組みに基づく方策オフ型のアクタークリティックで、アクターは期待報酬とエントロピーを同時に最大化します。

QDDPGとSACはいつ発表されましたか?

A

arXivの記録では、DDPGが2015年9月、SACが2018年1月です。SACはICML 2018の論文です。

QSACは方策オン型ですか、方策オフ型ですか?

A

論文は、方策オフ型のアクタークリティックだと述べます。方策オフ型の更新と、安定した確率的なアクタークリティックの定式化を組み合わせた手法です。

次に見る比較

執筆: AI資格ドリル編集部(運営者情報を見る)