G検定 用語解説
深層強化学習とは
状態や行動の価値、方策などをニューラルネットワークで近似し、深層学習と強化学習を組み合わせて最適な行動を学習する手法。DQNはその代表例の一つ。
まず押さえる結論
深層強化学習は、G検定の「大項目6 ディープラーニングの応用例」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-07-03。
試験概要（公式）試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×物体検出（R-CNN系/YOLO/SSD）とセグメンテーション（セマンティック＝画素単位の塗り分け、インスタンス＝個体ごとに区別）の混同。
×word2vec・BERT・GPTの違い（BERT＝前後両方向、GPT＝一方向・自己回帰）。
×強化学習の応用（DQN、AlphaGo）と画像/言語タスクの取り違え。
関連する確認問題
大項目6 ディープラーニングの応用例 / 音声・強化学習
人間の対局記録（棋譜）を一切学習に用いず、自分自身との対戦を繰り返す強化学習だけで囲碁などのゲームを習得し、人間の棋譜から学習した従来版を上回ったプログラムはどれか。
正解はAlphaZero。人間の対局記録（棋譜）を用いず、自己対戦（セルフプレイ）による強化学習だけで囲碁・チェス・将棋などを習得し、人間の棋譜から学習した従来版を上回ったプログラムである。AlphaGoは人間の棋譜による学習を取り入れていた点で本問の条件と異なる。DQNはゲーム画面を入力にビデオゲームを学習した深層強化学習の手法、Actor-Criticは行動を選ぶ部分と価値を評価する部分を組み合わせた強化学習の手法であり、いずれも本問の説明に当てはまるプログラムではない。 学習データと固有名を照合する。AlphaGoは人間棋譜を利用した版を含み、DQNはテレビゲームのQ学習手法、Actor-Criticは方策と価値を組み合わせる一般方式である。棋譜なしのセルフプレイで囲碁・チェス・将棋を学んだAlphaZeroが該当する。
大項目6 ディープラーニングの応用例 / 音声・強化学習
強化学習における行動価値関数をディープラーニングで近似し、多数のテレビゲームで人間に匹敵する成績を示したことで注目された、深層強化学習の代表的な手法はどれか。
正解はDQN。行動価値（Q値）をニューラルネットワークで近似する深層強化学習の手法で、画面の画素を入力として多数のテレビゲームを人間並みにプレイできることを示した。GANは生成器と識別器を競わせて本物らしいデータを作る生成モデル、オートエンコーダは入力を圧縮・復元して特徴を学ぶネットワーク、word2vecは単語を分散表現に変換する手法で、いずれも行動価値を学習するDQNとは目的が異なる。 学習対象を照合する。オートエンコーダは入力復元、GANはデータ生成、word2vecは単語ベクトルを学習する。状態から各行動のQ値をニューラルネットワークで出力し方策選択に使うのはDQNである。
同じ章で確認したい用語
到達チェック
- 深層強化学習を一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、深層強化学習に関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）