ディープラーニングの応用例
G検定のDQNとは（Atariゲームで試した深層強化学習）
G検定の大項目6「ディープラーニングの応用例」には、深層強化学習とDQNが載っています。DQNは、ゲーム画面の生のピクセルを入力に、CNNをQ学習の変種で訓練して、将来の報酬を推定する価値関数を出力する手法です。
このページは、DQNの原論文の抄録を読み直し、入力・モデル・学習方法・出力と、7つのゲームでの結果、選択肢で間違えやすい点を整理しています。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-10-02。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- DQNは、Mnihらが2013年に発表した、強化学習にディープラーニングを組み合わせた手法
- 入力はゲーム画面の生のピクセルで、モデルはCNN
- 訓練はQ学習の変種で行い、出力は将来の報酬を推定する価値関数
- 7つのAtariゲームで、6つは過去の手法を上回り、3つは人間の専門家を上回った
- 教師あり学習の手法ではなく、すべてのゲームで人間を上回ったわけでもない
DQNの中身
原論文の題名は『Playing Atari with Deep Reinforcement Learning』で、著者はMnihほか（2013年、NIPS Deep Learning Workshop）です。抄録は、高次元の感覚入力から強化学習を使って直接制御方策を学習することに成功した、最初のディープラーニングモデルだと述べています。
| 項目 | 論文の記述 |
|---|---|
| 入力 | ゲーム画面の生のピクセル。人が特徴を設計して渡すのではなく、高次元の感覚入力をそのまま受け取る |
| モデル | 畳み込みニューラルネットワーク（CNN） |
| 学習方法 | Q学習の変種で訓練する。強化学習を使って、制御方策を入力から直接学習する |
| 出力 | 将来の報酬を推定する価値関数 |
正解のラベルを与える教師あり学習ではなく、行動の結果として得られる報酬をもとに学ぶ強化学習に、CNNを組み合わせた点が「深層強化学習」と呼ばれる理由です。強化学習そのものの位置づけは、教師あり学習・教師なし学習と並べて、大項目3で整理されています。 設問で「画面を入力に、行動の価値を出力する」と読めたら、入力が特徴量の表ではなく画像である点と、出力が分類ラベルではなく価値である点の2つを手がかりにDQNを選べます。
一次資料: Mnih et al. (2013) Playing Atari with Deep Reinforcement Learning. arXiv:1312.5602
論文の結果
抄録は、7つのゲームへの適用結果を次のように述べています。
| 項目 | 論文の記述 |
|---|---|
| 対象 | Arcade Learning Environmentの7つのAtari 2600ゲーム |
| 設定 | ゲームごとにアーキテクチャも学習アルゴリズムも調整しない |
| 従来手法との比較 | 7つのうち6つのゲームで、過去のすべての手法を上回った |
| 人間との比較 | 3つのゲームで、人間の専門家を上回った |
「7つ中6つで従来手法を超え、3つで人間の専門家を超えた」が結果の全体像です。「すべてのゲームで人間を超えた」とは書かれていません。
Q学習・方策勾配法との位置づけ
DQNの名前と一緒に、Q学習や方策勾配法が選択肢に並ぶことがあります。何を学習するかで切り分けると、混同しにくくなります。
| 手法 | 学習する対象 | DQNとの関係 |
|---|---|---|
| Q学習 | 状態と行動ごとの価値（行動価値）。価値ベースの手法 | DQNは、Q学習の変種でCNNを訓練する |
| 方策勾配法 | 行動を選ぶ方策そのもの。方策ベースの手法 | DQNの訓練方法ではなく、別系統の強化学習の手法 |
| 深層強化学習 | 強化学習にディープラーニングを組み合わせた手法の総称 | DQNは、その代表的な手法 |
DQNはQ学習の変種を使うので、価値ベースの手法の延長にあります。Q学習と方策勾配法の違いそのものは、Q学習と方策勾配法の違いに、用語の定義は用語集のDQNにまとめています。
シラバスのどこに出るか
JDLA公式シラバス（G2024#6〜）では、深層強化学習とDQN、強化学習の関連語は、次の大項目のキーワード欄に載っています。
| 場所 | 内容 |
|---|---|
| 大項目6「ディープラーニングの応用例」 | キーワード欄に深層強化学習とDQNが載る |
| 大項目3「機械学習の概要」 | 強化学習のキーワードとして、教師あり学習、教師なし学習、強化学習などが並ぶ。方策勾配法とActor-Criticもキーワードにある |
選択肢の読み方
抄録の記載から、選択肢を次のように読みます。
- 「生のピクセルを入力に、CNNをQ学習の変種で訓練する」は、DQNの説明
- 「出力は将来の報酬を推定する価値関数」は、DQNの説明
- 「正解ラベルつきの画像で学ぶ教師あり学習」という文は、強化学習で訓練するという論文の記述と合わない
- 「ゲームごとに構造や学習方法を調整した」という文は、調整せずに適用したという記述と合わない
- 「すべてのゲームで人間の専門家を上回った」という文は、7つ中3つという記述と合わない
ここで挙げた読み方は、一次資料の記載から導いたこのページの整理で、出題を予想するものではありません。
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
よくある質問
DQNは、何の略ですか？
このページで使った原論文の抄録は、略称の展開を書いていません。抄録に書かれているのは、CNNをQ学習の変種で訓練するという構成です。名称の由来は公式テキストなどで確認してください。
DQNは、教師あり学習で訓練するのですか？
いいえ。論文は、強化学習を用いて制御方策を学習するモデルで、Q学習の変種で訓練すると述べています。出力は、将来の報酬を推定する価値関数です。
DQNは、Atariのすべてのゲームで人間を上回りましたか？
いいえ。論文が試したのは7つのゲームで、過去の手法を上回ったのは6つ、人間の専門家を上回ったのは3つです。
ゲームごとに、モデルの構造を作り直したのですか？
いいえ。抄録は、アーキテクチャも学習アルゴリズムも調整せずに、7つのゲームへ適用したと述べています。
AlphaGoも、DQNと同じ論文の手法ですか？
このページが照合したのは、DQNの原論文の抄録だけです。AlphaGoの仕組みはこのページでは扱わないので、シラバスの該当箇所と公式テキストで確認してください。