AI資格ドリル
資格を選ぶ↓

用語比較

A3CとDQNの違い｜経験再生で安定させる価値ベースか、並列の非同期学習で安定させるアクター・クリティックか（G検定）

A3CとDQNは、どちらも深層ニューラルネットワークと強化学習を組み合わせた手法で、G検定の深層強化学習で並んで出てきます。名前だけでは中身が分かりにくく、「どちらも経験再生を使う」と取り違えやすくなります。

DQNは経験再生メモリで学習を安定させ、A3Cは経験再生を使わず、複数のエージェントを並列・非同期に動かして学習を安定させると覚えると、選択肢を切り分けられます。

このページは、A3Cの原論文『Asynchronous Methods for Deep Reinforcement Learning』（arXiv:1602.01783、ICML 2016）の記述をもとに比べます。DQNとQ学習の違い、DQNとDouble DQNの違いは別のページにあります。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。

結論

DQN

経験再生メモリに集めたデータを使って学習を安定させる。論文は、経験再生を使う手法は過去の方策で作ったデータから更新できるオフポリシーの学習に限られると述べる。

A3C

asynchronous advantage actor-critic。経験再生メモリを使わず、環境の複数のインスタンスで複数のエージェントを並列・非同期に動かし、方策と状態価値の推定の両方を持つ。

見分け方

選択肢に「経験再生」があればDQN、「非同期」「並列のアクター・ラーナー」「方策と価値の両方」があればA3C（試験向けの目安）。

違いを表で確認

比較軸DQNA3C
学習を安定させる仕組みDQN：経験再生メモリに集めたデータを、異なる時刻からランダムに取り出して更新するA3C：経験再生メモリを使わず、異なる探索方策を持つ複数のエージェントを並列に動かして安定させる
学ぶものDQN：価値ベースの手法で、行動ごとの価値を出力するA3C：方策π(a|s)と、状態価値の推定V(s)の両方を持つ（アクター・クリティック）
オンポリシーかオフポリシーかDQN：経験再生は、古い方策が作ったデータから更新できるオフポリシーの学習が必要A3C：論文は、アクター・クリティックをオンポリシーの方策探索の手法と位置づける
計算の使い方DQN：経験再生は、実際の1回の相互作用あたり、より多くのメモリと計算を使うA3C：1台の計算機の複数のCPUスレッドで動かし、論文はGPUの代わりに1台のマルチコアCPUで学習できるとする
論文の発表DQN：A3Cの論文は、経験再生に基づく深層強化学習がAtari 2600のような難しい分野で前例のない成功を収めたと述べるA3C：2016年2月にarXivへ投稿され、2016年のICMLで発表された

G検定の学習に使う書籍（Amazon）

試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。

PR
深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版 の表紙深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版試験を実施する日本ディープラーニング協会が監修した公式テキストです。Amazonで見る

ほかの資格を含む参考書・問題集の一覧を見る

どこで迷っているかを切り分ける

01

「経験再生」という語が出る人

DQNです。A3Cの論文は、経験再生メモリの代わりに並列のエージェントで学習を安定させると述べます。

02

「非同期」「複数のエージェントを並列に」という語が出る人

A3Cです。名前のasynchronousは、複数のアクター・ラーナーを非同期に動かすことを指します。

03

「方策と状態価値の両方を出力するネットワーク」という語が出る人

A3Cです。論文は、方策のsoftmax出力と状態価値の線形出力を持つ畳み込みネットワークを使うと述べます。

具体例で使い分ける

例 1

選択肢に「経験再生メモリを使わない」が出る場合（架空の場面）

「経験再生を使わず、複数のエージェントを並列に動かして学習を安定させる深層強化学習の手法はどれか」という問いがあります。

  • 経験再生メモリを使わず、並列のアクター・ラーナーで安定させるのはA3Cの論文の考え方です。
  • DQNは、経験再生を使う手法の代表として論文で比較されます。

結論: 経験再生を使わず並列に動かすならA3Cです。

例 2

選択肢に「方策と価値の両方を持つ」が出る場合（架空の場面）

「方策と状態価値の推定の両方を持つ、アクター・クリティック型の手法はどれか」という問いがあります。

  • A3Cは、方策π(a|s;θ)と状態価値の推定V(s;θv)を持つと論文は述べます。
  • DQNは、行動価値を近似する価値ベースの手法です。

結論: 方策と価値の両方を持つならA3Cです。

例 3

選択肢に「A3CはGPUが必須」が出る場合（架空の場面）

「A3Cは、学習にGPUが必須の手法である」という文の正誤を問う問いがあります。

  • 論文の抄録は、最も性能の良い手法が、GPUではなく1台のマルチコアCPUで、約半分の学習時間でAtariの当時の最高水準を上回ったと述べます。
  • GPUが必須だとは述べていません。

結論: 「GPUが必須」は誤りです。

問題文から答えを選ぶ手順

  1. 1

    安定させる仕組みを見る

    「経験再生」ならDQN、「並列・非同期のエージェント」ならA3Cです。

  2. 2

    学ぶものを見る

    行動価値だけならDQN、方策と状態価値の両方ならA3Cです。

  3. 3

    名前を見る

    asynchronous advantage actor-criticの頭文字がA3Cです。「非同期」「アクター・クリティック」が手がかりです。

  4. 4

    計算資源を見る

    A3Cの論文は、GPUではなく1台のマルチコアCPUで学習できると述べます。

試験での見分け方

  • 1DQNは、経験再生メモリを使って学習を安定させる。
  • 2A3Cは、経験再生を使わず、複数のアクター・ラーナーを並列・非同期に動かして学習を安定させる。
  • 3A3Cは、方策と状態価値の推定の両方を持つ、アクター・クリティック型の手法である。

誤答しやすい選択肢

A3Cも経験再生を使うと考える

修正: A3Cの論文は、経験再生メモリを使わず、並列に動かす複数のエージェントがその安定化の役割を担うと述べます。

A3Cの「非同期」を、報酬が遅れて届くことだと考える

修正: ここでの非同期は、複数のアクター・ラーナーがそれぞれ自分の環境で動き、非同期に勾配を計算して共有のパラメータを更新することです。

A3CがDQNより常に優れると考える

修正: 論文が述べるのは、Atariで当時の最高水準を上回ったことです。どちらが常に優れるという主張は、論文にはありません。

確認問題

Q1経験再生メモリを使わず、複数のエージェントを並列・非同期に動かして学習を安定させる手法は？

答え: A3C（asynchronous advantage actor-critic）

論文は、並列のアクター・ラーナーが経験再生の安定化の役割を担うと述べます。

Q2A3Cが持つ2つの推定は？

答え: 方策と状態価値の推定

方策π(a|s;θ)がアクター、状態価値の推定V(s;θv)がクリティックの役割です。

Q3経験再生を使う手法は、どんな学習に限られると論文は述べますか？

答え: 古い方策が作ったデータから更新できる、オフポリシーの学習

A3Cは経験再生を使わないので、オンポリシーの手法も安定して使えると論文は述べます。

到達チェック

  • DQNの安定化の仕組み（経験再生）を言える
  • A3Cの安定化の仕組み（並列・非同期のアクター・ラーナー）を言える
  • A3Cが方策と状態価値の両方を持つと言える

関連ページで確認する

同じ資格で次に知りたいこと

よくある質問

QA3CとDQNの違いは？

A

DQNは経験再生メモリで学習を安定させます。A3Cは経験再生を使わず、複数のエージェントを並列・非同期に動かして安定させ、方策と状態価値の推定の両方を持ちます。

QA3Cは何の略ですか？

A

asynchronous advantage actor-criticの略で、論文はこの手法をA3Cと呼びます。

QA3Cの論文はいつ発表されましたか？

A

arXivには2016年2月に投稿され、2016年のICML（国際機械学習会議）で発表されました。

次に見る比較

シェア:XでシェアLINEでシェア

執筆: ミナト編集部（運営者情報を見る）