用語比較
DDPGとSACの違い|決定論的な方策で連続行動を扱うか、エントロピーを最大化する確率的な方策で安定させるか(強化学習)
DDPGとSACは、どちらも連続的な行動を扱えるアクタークリティック型の強化学習アルゴリズムで、違いは方策の形と目的関数です。DDPG(2015年)は決定論的方策勾配法に基づき、SAC(2018年)は最大エントロピー強化学習に基づく方策オフ型の確率的な手法です。
この記事の目次
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。
- 公式一次資料と照合した内容
- DDPGが決定論的方策勾配に基づくアクタークリティック型のモデルフリーのアルゴリズムで、Deep Q-Learningの考え方を連続行動の領域へ適応させたこと、20を超える物理シミュレーションの課題を同じ設定で解くことは原論文(arXiv:1509.02971)の要旨を、SACが最大エントロピー強化学習の枠組みに基づく方策オフ型のアクタークリティックで、アクターが期待報酬とエントロピーを同時に最大化すること、ICML 2018の論文であること、先行手法より安定していることは原論文(arXiv:1801.01290)の要旨を、2026-11-15に照合しています。
- 編集部が学習用に整理した内容
- 見分け方の手がかり語、判断手順、確認問題、取り違えの注意は編集部の学習上の整理です。出題実績に基づくものではありません。
資格ごとの公式資料の一覧
DDPGとSACの要点
公式一次資料と照合:用語の定義は公式一次資料と照合しています。
DDPG
Deep Q-Learningの成功の考え方を連続行動の領域へ適応させた、決定論的方策勾配法に基づくアクタークリティック型のモデルフリーのアルゴリズム。
SAC
最大エントロピー強化学習の枠組みに基づく、方策オフ型のアクタークリティック。アクターは期待報酬とエントロピーを同時に最大化し、できるだけランダムに振る舞いながら課題を達成しようとする。
見分け方
選択肢に「決定論的方策勾配」「DQNの考え方を連続行動へ」があればDDPG、「最大エントロピー」「確率的なアクター」「エントロピーを最大化」があればSAC。
違いを表で確認
| 比較軸 | DDPG | SAC |
|---|---|---|
| 名前の意味 | DDPG:Deep Deterministic Policy Gradient(深層決定論的方策勾配法) | SAC:Soft Actor-Critic(ソフトアクタークリティック) |
| 方策の形 | DDPG:決定論的方策勾配に基づく | SAC:確率的なアクター(stochastic actor)を使う |
| 目的関数 | DDPG:論文の要旨は、決定論的方策勾配に基づく点を述べる | SAC:期待報酬に加えてエントロピーも最大化する。最大エントロピー強化学習の枠組みに基づく |
| 出発点 | DDPG:Deep Q-Learningの成功の考え方を連続行動の領域へ適応させた | SAC:高いサンプル複雑度と、慎重なハイパーパラメータ調整が要る不安定な収束という2つの課題への対処を掲げた |
| 論文が示す成績 | DDPG:同じ学習アルゴリズム・ネットワーク構造・ハイパーパラメータで20を超える物理シミュレーションの課題を頑健に解く。多くの課題で生の画素入力から端から端まで学べる | SAC:連続制御のベンチマークで先行の方策オン型・オフ型の手法を上回り、乱数の種が違っても似た性能になる安定性を示す |
公式一次資料と照合:G検定の一次資料で確認一次資料の一覧を見る
G検定の学習に使う書籍(Amazon)
PRどこで迷っているかを切り分ける
「決定論的方策勾配」「DQNの成功を連続行動へ」という語が出る人
DDPGです。連続行動の領域で動くアクタークリティック型のアルゴリズムです。
「最大エントロピー」「確率的なアクター」という語が出る人
SACです。期待報酬とエントロピーを同時に最大化する方策オフ型の手法です。
「乱数の種が違っても安定」という語が出る人
SACです。論文は、ほかの方策オフ型の手法と対比して、乱数の種が違っても似た性能になる安定性を述べます。
具体例で使い分ける
編集部の整理
例 1
選択肢に「決定論的方策勾配」が出る場合(架空の場面)
「決定論的方策勾配に基づき、連続的な行動の領域で動くアクタークリティック型のアルゴリズムはどれか」という問いがあります。
- 決定論的方策勾配に基づくのはDDPGです。
- SACは、確率的なアクターと最大エントロピーの枠組みが特徴です。
結論: 決定論的方策勾配ならDDPGです。
例 2
選択肢に「エントロピーを最大化」が出る場合(架空の場面)
「期待報酬に加えて方策のエントロピーも最大化する方策オフ型のアクタークリティックはどれか」という問いがあります。
- アクターが期待報酬とエントロピーを同時に最大化するのはSACです。
- DDPGは決定論的方策に基づきます。
結論: エントロピーの最大化ならSACです。
例 3
発表年を問われる場合
2つのうち、2018年に発表された手法を選ぶ問いがあります。
- DDPGのarXiv投稿は2015年9月、SACのarXiv投稿は2018年1月です。
結論: 2018年ならSACです。
問題文から答えを選ぶ手順
編集部の整理:見分け方の手がかり語、判断手順、確認問題、取り違えの注意は編集部の学習上の整理です。出題実績に基づくものではありません。
- 1
方策の形を見る
「決定論的」ならDDPG、「確率的なアクター」ならSACです。
- 2
目的を見る
「期待報酬とエントロピーの最大化」はSACの説明です。
- 3
出発点を見る
「Deep Q-Learningの考え方を連続行動へ」はDDPGの説明です。
- 4
発表年を見る
2015年ならDDPG、2018年ならSACです。
試験での見分け方
編集部の整理
- 1DDPGは、決定論的方策勾配に基づく、連続行動のためのアクタークリティック型のモデルフリーのアルゴリズムである。
- 2SACは、最大エントロピー強化学習の枠組みに基づく、方策オフ型のアクタークリティックで、アクターは確率的である。
- 3SACのアクターは、期待報酬とエントロピーを同時に最大化する。
誤答しやすい選択肢
SACの方策を決定論的と考える
修正: SACの論文の題名に「確率的なアクター(Stochastic Actor)」とあります。決定論的方策勾配に基づくのはDDPGです。
DDPGを離散行動の手法と考える
修正: DDPGの論文は、連続行動の空間で動くアルゴリズムと述べます。Deep Q-Learningの考え方を連続行動の領域へ適応させたものです。
SACを方策オン型と考える
修正: SACの論文は、自らを方策オフ型のアクタークリティックと位置づけています。
確認問題
Q1Deep Q-Learningの成功の考え方を連続行動の領域へ適応させた、決定論的方策勾配に基づくアルゴリズムは?
答え: DDPG
2015年の論文で提案されたアクタークリティック型のモデルフリーのアルゴリズムです。
Q2期待報酬に加えてエントロピーも最大化する、確率的なアクターを使う方策オフ型のアルゴリズムは?
答え: SAC
2018年の論文で提案され、最大エントロピー強化学習の枠組みに基づきます。ICML 2018の論文です。
Q3SACの論文が、既存の深層強化学習の手法の課題として挙げた2つは?
答え: 高いサンプル複雑度と、不安定な収束
不安定な収束のため、慎重なハイパーパラメータ調整が要ると述べられています。
到達チェック
- DDPGの方策の形(決定論的)を言える
- SACの目的(期待報酬とエントロピーの最大化)を言える
- 2つの発表年(2015年と2018年)の前後を取り違えない
関連ページで確認する
同じ資格で次に知りたいこと
- ResNetとDenseNetの違い|層の出力を足し合わせる残差接続と、全層をつなぐ密な接続(G検定)
ResNetとDenseNetの違いを、層のつなぎ方(足し算と連結)、接続の数、論文の主張、成績で整理。G検定の画像認識の選択肢を切り分ける判断手順と確認問題つき。
- k-meansとDBSCANの違い|クラスタ数kを先に決めて重心で分けるか、点の密度でまとまりとノイズを見分けるか
k-meansとDBSCANの違いを、入力するパラメータ、クラスタの形、ノイズの扱い、原論文の定義で整理。教師なし学習のクラスタリング手法を切り分ける判断手順と確認問題つき。
- AlphaGoとAlphaGo Zeroの違い|人間の棋譜を使う学習と、自己対局の強化学習だけの学習(G検定)
AlphaGoとAlphaGo Zeroの違いを、学習データ(人間の棋譜の有無)、ネットワークの構成、探索、成績(5対0・100対0)で整理。G検定のAIブームと機械学習の発展で選択肢を切り分ける判断手順と確認問題つき。
よくある質問
QDDPGとSACの違いは?
DDPGは決定論的方策勾配に基づくアクタークリティック型のアルゴリズムで、Deep Q-Learningの考え方を連続行動へ適応させました。SACは最大エントロピー強化学習の枠組みに基づく方策オフ型のアクタークリティックで、アクターは期待報酬とエントロピーを同時に最大化します。
QDDPGとSACはいつ発表されましたか?
arXivの記録では、DDPGが2015年9月、SACが2018年1月です。SACはICML 2018の論文です。
QSACは方策オン型ですか、方策オフ型ですか?
論文は、方策オフ型のアクタークリティックだと述べます。方策オフ型の更新と、安定した確率的なアクタークリティックの定式化を組み合わせた手法です。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い(統計検定2級の式と計算例)
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: AI資格ドリル編集部(運営者情報を見る)
