AI資格ドリル
資格を選ぶ↓

用語比較

DQNとDouble DQNの違い｜学習目標で行動の選択と評価を同じ網で行うか、分けるか（G検定）

DQN（Deep Q-Network）は、Q学習の行動価値をニューラルネットワークで近似する深層強化学習の代表例です。Double DQNはそのDQNを、学習目標の作り方だけ変えて、価値の過大評価を減らした手法で、名前が似ているため取り違えやすくなります。

DQNは学習目標で行動の選択も評価もターゲットネットワークで行い、Double DQNは選択をオンラインネットワーク、評価をターゲットネットワークに分けると覚えると、選択肢を切り分けられます。

このページは、Double DQNの原論文（arXiv、AAAI 2016）の記述をもとに比べます。DQNとQ学習の違いは別のページにあります。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。

結論

DQN

学習目標の行動価値の最大値を、ターゲットネットワークの重みで求める。行動の選択と評価に同じ値を使うため、過大評価された値を選びやすい。

Double DQN

貪欲な行動をオンラインネットワークで選び、その価値の推定にターゲットネットワークを使う。DQNからの最小限の変更で、過大評価を減らす。

見分け方

「行動の選択と評価を分ける」「過大評価を減らす」とあればDouble DQN、「ニューラルネットワークで行動価値を近似し、経験再生とターゲットネットワークを使う」ならDQN（試験向けの目安）。

違いを表で確認

比較軸DQNDouble DQN
学習目標の行動の選び方DQN：ターゲットネットワークの重みで、次の状態の行動価値の最大値を求めるDouble DQN：次の状態の貪欲な行動を、オンラインネットワークで選ぶ
価値の評価DQN：選んだ行動の価値も、同じターゲットネットワークの値を使うDouble DQN：選んだ行動の価値の推定に、ターゲットネットワークを使う
過大評価DQN：max演算子が選択と評価に同じ値を使うため、過大評価された値を選びやすいDouble DQN：選択と評価を分けることで、観測された過大評価が減る
ネットワークの数DQN：オンラインネットワークとターゲットネットワークの2つDouble DQN：同じ2つのまま。追加のネットワークを導入しない
49のゲームの最大5分のプレーでの正規化した性能（論文の表。DQNの値はMnihほか2015から）DQN：中央値93.5%・平均241.1%Double DQN：中央値114.7%・平均330.3%

G検定の学習に使う書籍（Amazon）

試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。

PR
深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版 の表紙深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版試験を実施する日本ディープラーニング協会が監修した公式テキストです。Amazonで見る

ほかの資格を含む参考書・問題集の一覧を見る

どこで迷っているかを切り分ける

01

「選択と評価を分ける」という語が出る人

Double DQNです。max演算子が選択と評価に同じ値を使う問題を、分けることで避けます。

02

「経験再生」「ターゲットネットワーク」だけが挙がる人

DQNの説明です。ターゲットネットワークと経験再生は、DQNの二つの重要な要素です。Double DQNも同じ要素を引き継ぎます。

03

「Q学習が行動価値を過大に見積もる」という語が出る人

Double DQNの動機です。抄録は、Q学習は条件によって行動価値を過大に見積もることが知られていると述べます。

具体例で使い分ける

例 1

選択肢に「行動の選択と評価を分ける」が出る場合（架空の場面）

「Q学習の価値の過大評価を減らすため、次の状態の行動を選ぶ網と、その価値を評価する網を分けたDQNの発展手法はどれか」という問いがあります。

  • 選択と評価を分けて過大評価を減らす考え方は、Double Q-learningで、それをDQNに適用したのがDouble DQNです。
  • DQNの学習目標では、max演算子が選択と評価に同じ値を使います。

結論: 選択と評価を分けるならDouble DQNです。

例 2

選択肢に「ネットワークをもう1つ追加する」が出る場合

「Double DQNは、DQNに第3のネットワークを加えて過大評価を減らす」という文の正誤を問う問いがあります。

  • 論文は、ターゲットネットワークが2つ目の価値関数の自然な候補になり、追加のネットワークを導入せずに済むと述べます。
  • ネットワークの数はDQNと同じです。変わるのは、学習目標で行動を選ぶ側がオンラインネットワークになる点です。

結論: この文は誤りです。違いは、追加のネットワークではなく、選択と評価の分け方です。

例 3

「Double DQNは常にDQNより高得点」と書かれた選択肢が出る場合

「Double DQNはどのゲームでも必ずDQNより高い得点を出す」という文の正誤を問う問いがあります。

  • 論文は、いくつかのゲームで性能が大きく向上すると述べます。
  • 49のゲームの要約では、中央値も平均もDouble DQNが上回りますが、「どのゲームでも必ず」という主張は論文にありません。

結論: 「いくつかのゲームで大きく向上」が論文の言い方です。「必ず」と断定する表現は、根拠が示されていません。

問題文から答えを選ぶ手順

  1. 1

    分け方を見る

    「選択と評価を分ける」ならDouble DQN、同じ値で選んで評価するならDQNです。

  2. 2

    過大評価を見る

    過大評価を減らす狙いが書かれていればDouble DQNです。

  3. 3

    ネットワークの数を見る

    「追加のネットワークを導入する」とあれば誤りです。Double DQNもオンラインとターゲットの2つを使います。

  4. 4

    断定の強さを見る

    「必ず」「常に」の断定は、論文に根拠がありません。

試験での見分け方

  • 1DQNのmax演算子は、行動の選択と評価に同じ値を使うため、過大評価された値を選びやすい。
  • 2Double DQNは、貪欲な行動をオンラインネットワークで選び、その価値の推定にターゲットネットワークを使う。
  • 3Double DQNの更新はDQNと同じで、変わるのは学習目標だけである。

誤答しやすい選択肢

Double DQNはDQNとは別の学習の仕組みだと考える

修正: 更新はDQNと同じです。学習目標の中で行動を選ぶ網を、ターゲットネットワークからオンラインネットワークに替えただけです。

Double DQNは3つ目のネットワークを使うと考える

修正: 論文は、追加のネットワークを導入せずに、ターゲットネットワークを2つ目の価値関数として使うと述べます。

過大評価は環境のノイズだけで起こると考える

修正: 論文は、推定の誤りであれば、環境のノイズ、関数近似、非定常性などの原因を問わず、上向きの偏りを生みうると述べます。

確認問題

Q1DQNの学習目標で、max演算子が行動の選択と評価に同じ値を使うと、何が起きやすくなりますか？

答え: 過大評価された値を選びやすくなる

過度に楽観的な価値推定になると論文は述べます。

Q2Double DQNは、次の状態の貪欲な行動を、どのネットワークで選びますか？

答え: オンラインネットワーク

価値の推定には、ターゲットネットワークを使います。

Q3Double DQNは、DQNに対して何を追加で導入しますか？

答え: 追加のネットワークは導入しない

ターゲットネットワークを2つ目の価値関数として使います。

到達チェック

  • DQNの学習目標がmax演算子で選択と評価に同じ値を使うと言える
  • Double DQNが選択をオンライン、評価をターゲットのネットワークで行うと言える
  • Double DQNは追加のネットワークを導入しないと言える

関連ページで確認する

同じ資格で次に知りたいこと

よくある質問

QDQNとDouble DQNの違いは？

A

DQNは学習目標で、行動の選択と評価にターゲットネットワークの同じ値を使います。Double DQNは、行動の選択をオンラインネットワーク、価値の評価をターゲットネットワークで行い、過大評価を減らします。

QDouble DQNは何のために作られましたか？

A

Q学習やDQNが行動価値を過大に見積もる問題を減らすためです。Double Q-learningの考え方をDQNに適用しています。

QDouble DQNの論文はいつ発表されましたか？

A

arXivには2015年に投稿され、2016年のAAAIで発表されました。

次に見る比較

シェア:XでシェアLINEでシェア

執筆: ミナト編集部（運営者情報を見る）