用語比較
DQNとQ学習の違い｜表で持つ行動価値とニューラルネットで近似する行動価値（G検定）
Q学習は、状態で行動をとったときの価値（行動価値）を逐次改善し、最適な行動を学ぶ強化学習の手法です。DQN（Deep Q-Network）は、そのQ学習の行動価値を、ニューラルネットワークで近似する手法です。
二つを分けるのは、行動価値をどう持つかです。DQNはQ学習をやめた手法ではなく、Q学習の更新の考え方を、画像のような広い入力でも使えるようにした深層強化学習の代表例です。
このページは、G検定の強化学習でQ学習とDQNを並べて覚えていて、どこが違うのかがあいまいな人を対象にしています。違いと関係を、問題文のどこを見て判断するかまで確認します。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
Q学習
行動価値を逐次改善して最適な行動を学ぶ手法。行動価値を離散的に表す（表で持つ）なら、すべての行動をすべての状態で繰り返し試すと、確率1で最適な行動価値に収束することが証明されている。
DQN
Q学習の行動価値を、ニューラルネットワーク（原論文では畳み込みニューラルネットワーク）で近似する深層強化学習の手法。画素と得点だけを入力にAtariのゲームを学んだ。
違いを表で確認
| 比較軸 | Q学習 | DQN |
|---|---|---|
| 行動価値の持ち方 | 状態と行動の組ごとに値を持つ（表） | ニューラルネットワークで近似する |
| 入力 | 状態と行動を数えられる設定が前提 | 画像の画素のような高次元の入力も扱える |
| 学習の安定のための工夫 | 表の更新が中心 | 経験再生（ためた経験からランダムに抽出して更新） |
| ジャンル | 強化学習の基本手法 | 深層強化学習の代表例 |
| 区別の手がかり | 行動価値、逐次改善、離散的な表現 | ニューラルネットワーク、画素、経験再生、Atari |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
DQNをQ学習とは別の学習方法だと思っている人
DQNの原論文（Mnihほか2013）は、モデルがQ学習の変種で訓練されると述べています。更新の考え方はQ学習のままで、行動価値の持ち方をニューラルネットワークに替えたものです。
なぜ表のままでは足りないのかが分からない人
同じ論文は、行動価値を系列ごとに別々に推定し汎化がない基本の方法を、実用的でないと述べます。画像のように状態の数が膨大だと表を作れないため、関数近似器で推定します。
経験再生が何のためにあるのか分からない人
同論文は、連続する標本から直接学ぶのは標本間の強い相関のため非効率で、標本のランダム化がこの相関を断ち、更新の分散を減らすと述べます。ためた経験からランダムに抽出して更新するのは、そのためです。
具体例で使い分ける
例 1
表で足りる場合とそうでない場合
説明のために作った例です。5つのマスと上下左右の4つの行動だけの小さな迷路と、毎フレームの画面の画素を入力とするゲームがあります。
- 迷路は状態が5つしかなく、状態と行動の組ごとに値を持つ表で書けます。この場合は表を使うQ学習で足ります。
- ゲームの画面は、画素の組み合わせが膨大で、状態ごとの表は作れません。画面から行動価値を直接推定するニューラルネットワークが必要になり、これがDQNの立場です。
結論: 状態を数えられる小さな問題は表のQ学習、画素のような高次元の入力はDQNです。
例 2
問題文の言葉から選ぶ
説明のために作った例です。ある問題文に、画像のピクセルから直接行動価値を学び、ゲームで人間の水準に達した深層強化学習の手法はどれか、とあります。
- ピクセル、行動価値、深層という手がかりが並んでいます。行動価値を表で持つ基本手法ではなく、ニューラルネットワークで近似する手法を聞いています。
- 方策をそのまま学ぶ手法を聞いているなら、方策勾配法です。
結論: 答えはDQNです。行動価値を逐次改善する基本手法そのものを聞かれたら、Q学習に切り替えます。
問題文から答えを選ぶ手順
- 1
入力の言葉を見る
画像のピクセルのような高次元の入力、ニューラルネットワーク、とあればDQNです。
- 2
行動価値の持ち方を見る
状態と行動の組ごとの値、離散的な表現が前提なら、基本のQ学習です。
- 3
学習の工夫の言葉を見る
経験を貯めてランダムに抽出して更新する、とあれば経験再生で、DQNの説明です。
- 4
方策を直接学ぶ話と取り違えない
方策そのものを学習する説明は、方策勾配法やActor-Criticです。
試験での見分け方
- 1Q学習は、行動価値を逐次改善して最適な行動を学ぶ基本の手法。
- 2DQNは、Q学習の行動価値をニューラルネットワークで近似する深層強化学習の手法。
- 3経験再生は、ためた経験からランダムに抽出して更新し、標本間の相関を断つ工夫。
- 4方策そのものを学習する手法は、DQNでもQ学習でもなく、方策勾配法。
誤答しやすい選択肢
DQNは、Q学習とは別の更新の考え方だと書く
修正: DQNの原論文は、モデルがQ学習の変種で訓練されると述べています。行動価値の持ち方を替えたもので、更新の考え方は共通です。
DQNを、方策を直接学ぶ手法と書く
修正: DQNは行動価値を推定する手法です。方策を直接学ぶのは方策勾配法です。
経験再生の目的を、学習を速くするためだけと書く
修正: 論文は、連続する標本の強い相関を断ち、更新の分散を減らす点を挙げています。
Q学習は、状態が膨大でも表で十分と書く
修正: DQNの論文は、行動価値を系列ごとに別々に推定し汎化がない基本の方法を、実用的でないと述べています。状態が膨大な問題では関数近似器を使います。
確認問題
Q1行動価値を逐次改善して最適な行動を学ぶ、強化学習の基本手法は。
答え: Q学習
Watkins・Dayan（1992）の抄録は、動的計画法を漸進的に行う手法と説明します。
Q2Q学習の行動価値をニューラルネットワークで近似し、Atariのゲームを学んだ手法は。
答え: DQN
画素と得点だけを入力にして学びました。
Q3DQNで、ためた経験からランダムに抽出して更新する工夫は。
答え: 経験再生
連続する標本の強い相関を断ち、更新の分散を減らします。
Q4方策そのものを学習する手法は、DQNか、方策勾配法か。
答え: 方策勾配法
DQNは行動価値を推定する手法です。
到達チェック
- Q学習が何を逐次改善するかを説明できる
- DQNが何をニューラルネットワークで近似するかを言える
- 経験再生の目的を言える
- 方策を直接学ぶ手法との違いを言える
関連ページで確認する
同じ資格で次に知りたいこと
- Mini-Max法とαβ法の違い｜ゲーム木で手を決める方法と枝刈りの役割（G検定）
Mini-Max法とαβ法の違いを、手を決める考え方と、結論を変えずに調べる枝を減らす枝刈りという役割の差で整理します。αとβが表す値、手の並べ順の影響、作例での枝刈りの流れ、G検定の探索・推論で迷わない判断手順と確認問題も掲載します。
- 局所最適解・大域最適解・鞍点の違い｜勾配がほぼ0になる3つの場面（G検定）
G検定の局所最適解、大域最適解、鞍点の違いを、探索範囲のどこで最良か、勾配がほぼ0になる点でも極小か極大かという軸で整理します。勾配降下法がなぜ止まるか、Deep Learningの教科書の記述、確認問題つき。
- モンテカルロ法とモンテカルロ木探索の違い｜ランダムな模擬対局の使い方と探索木の育て方（G検定）
モンテカルロ法とモンテカルロ木探索の違いを、終局までのランダムな模擬対局（プレイアウト）の使い方、探索木に結果を残すかどうか、AlphaGoとの関係で整理します。作例で評価の流れを追い、G検定の探索・推論とAIブームの問題で迷わない判断手順と確認問題も掲載します。
よくある質問
QDQNとQ学習は、何が違う？
行動価値の持ち方が違います。Q学習は状態と行動の組ごとに値を持つ基本手法で、DQNはその行動価値をニューラルネットワークで近似します。
QDQNはどんな成果を出した？
2015年のNature論文は、画素とゲームの得点だけを入力とするdeep Q-network agentが、同じアルゴリズム・ネットワーク構造・ハイパーパラメータで49のゲームにわたり過去のアルゴリズムを上回り、プロのゲームテスターに匹敵する水準に達したと述べています。
QG検定ではDQNの仕組みまで出る？
JDLAのシラバスのキーワード欄には深層強化学習とDQNの語があります。このページは語の役割の区別を中心にしており、出題の形式は受験前に公式の案内で確認してください。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）