G検定 用語解説
DQNとは
強化学習の代表的な手法であるQ学習に、ディープラーニングを組み合わせた深層強化学習の手法。行動の価値を表すQ値をニューラルネットワークで近似する。
DQNの意味と見分け方
DQNは、G検定の「大項目6 ディープラーニングの応用例」に出てくる用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。
試験概要（公式）比較記事でさらに確認する
試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
「大項目6 ディープラーニングの応用例」の問題で、取り違えやすい組み合わせです。
- 物体検出（R-CNN系/YOLO/SSD）とセグメンテーション（セマンティック＝画素単位の塗り分け、インスタンス＝個体ごとに区別）の混同。
- word2vec・BERT・GPTの違い（BERT＝前後両方向、GPT＝一方向・自己回帰）。
- 強化学習の応用（DQN、AlphaGo）と画像/言語タスクの取り違え。
関連する確認問題
大項目6 ディープラーニングの応用例 / 音声・強化学習
強化学習における行動価値関数をディープラーニングで近似し、多数のテレビゲームで人間に匹敵する成績を示したことで注目された、深層強化学習の代表的な手法はどれか。
正解はDQN。行動価値（Q値）をニューラルネットワークで近似する深層強化学習の手法で、画面の画素を入力として多数のテレビゲームを人間並みにプレイできることを示した。GANは生成器と識別器を競わせて本物らしいデータを作る生成モデル、オートエンコーダは入力を圧縮・復元して特徴を学ぶネットワーク、word2vecは単語を分散表現に変換する手法で、いずれも行動価値を学習するDQNとは目的が異なる。 学習対象を照合する。オートエンコーダは入力復元、GANはデータ生成、word2vecは単語ベクトルを学習する。状態から各行動のQ値をニューラルネットワークで出力し方策選択に使うのはDQNである。
大項目6 ディープラーニングの応用例 / 音声・強化学習
Mnihらが2013年に発表した、Atari 2600のゲームを扱う深層強化学習の原論文（DQNの原型）の抄録が述べるモデルとして、最も適切なものはどれか。
正解は「入力は生のピクセル、出力は将来の報酬を推定する価値関数で、Q学習の変種で訓練される畳み込みニューラルネットワーク」である。原論文（arXiv:1312.5602、題名は『Playing Atari with Deep Reinforcement Learning』）の抄録は、強化学習を用いて高次元の感覚入力から直接制御方策を学習することに成功した最初の深層学習モデルを示すと述べる。モデルは畳み込みニューラルネットワークで、入力は生のピクセル、出力は将来の報酬を推定する価値関数である。アーキテクチャも学習アルゴリズムも調整せずに7つのAtari 2600ゲームへ適用し、6つで過去のすべての手法を上回り、3つで人間の専門家を上回ったと述べる。
大項目6 ディープラーニングの応用例 / 音声・強化学習
ゲーム画面（画素）を入力として強化学習（Q学習）とディープラーニングを組み合わせ、ビデオゲームを人間以上のスコアでプレイできるようにした手法はどれか。
正解は「DQN」である。ゲーム画面を入力に強化学習（Q学習）とディープラーニングを組み合わせ、ビデオゲームを人間以上のスコアでプレイできるようにしたのはDQN。AlphaGoは囲碁でプロ棋士に勝利したプログラム、方策勾配法は方策を直接最適化する強化学習の手法、word2vecは自然言語処理の手法であり、いずれも該当しない。DQNと方策勾配法はともに強化学習の手法である点で共通するが、DQNがQ学習を基にする点、方策勾配法が方策そのものを直接最適化する点でアルゴリズムの立て方が異なる。
同じ章で確認したい用語
到達チェック
- DQNを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、DQNに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: AI資格ドリル編集部（運営者情報を見る）