DS検定 用語解説
強化学習とは
エージェントが環境との試行錯誤を通じて、得られる報酬の合計を最大化するように行動方針を学習する機械学習の手法。正解ラベルを与える教師あり学習とは異なり、行動の結果として得られる報酬を手がかりに学習する。
まず押さえる結論
強化学習は、DS検定の「第5章 データ準備・可視化技法とモデル化」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-07-12。
試験概要（公式）具体例から判断の境界を固める
正解ラベルを使う学習ではなく、行動の結果として得る報酬を手がかりに方策を改善する枠組みとして捉える
ゲームやロボット制御のように、正解を先に与えるのではなく、エージェントが環境の中で行動し、その結果として得られる報酬をもとに、長期的な報酬が大きくなるように行動の方針（方策）を改善していく場面があります。これが強化学習です。教師あり学習のように入力と正解ラベルの組をあらかじめ用意するのではなく、試行錯誤を繰り返しながら学習する点が特徴です。ディープラーニングと組み合わせた深層強化学習には、DQNのようにQ学習を基にする手法や、方策そのものを直接最適化する方策勾配法があります。
- 問題文で見る箇所
- 「エージェント」「環境」「報酬」「方策」という語がそろっていれば強化学習を候補にします。正解ラベルの有無で判断しようとすると教師あり学習・教師なし学習との区別を誤りやすいため、報酬を手がかりに試行錯誤するかどうかで判断します。
- 隣接概念との境界
- 教師あり学習は入力と正解ラベルの組から入出力関係を学ぶ枠組みで、報酬という概念を使いません。教師なし学習はラベルなしデータから構造やまとまりを見つける枠組みで、これも報酬にもとづく方策の改善が目的ではありません。強化学習はどちらとも異なり、行動の結果として得る報酬を手がかりに方策を改善します。
誤答しやすい選択肢
- 強化学習を、正解ラベル付きデータから入出力の対応を学ぶ教師あり学習の一種として扱う。強化学習に正解ラベルという概念はなく、報酬を手がかりにする点が異なります。
- 強化学習を、ラベルなしデータから構造やまとまりを見つける教師なし学習と同じ目的として扱う。強化学習の目的は構造の発見ではなく、報酬をもとにした方策の改善です。
- DQNと方策勾配法を区別せず同じアルゴリズムとして扱う。DQNはQ学習を基にする手法、方策勾配法は方策そのものを直接最適化する手法で、アルゴリズムの立て方が異なります。
4段階の判断手順
- 01設問に「エージェント」「環境」「報酬」「方策」という語がそろっているかを確認する。
- 02正解ラベルの有無ではなく、報酬を手がかりに試行錯誤するかどうかで教師あり学習・教師なし学習と区別する。
- 03深層強化学習の具体的な手法を問われた場合、Q学習を基にするか（DQN）、方策を直接最適化するか（方策勾配法）を区別する。
- 04報酬という語が出てこない選択肢を強化学習の説明から外す。
到達条件: 強化学習を報酬にもとづく方策の改善として説明し、教師あり学習・教師なし学習との違い、DQN・方策勾配法の違いを言える。
試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×標本誤差とサンプリングバイアスの混同。標本誤差は標本抽出に伴う偶然のばらつき、サンプリングバイアスは抽出方法の偏りによる系統的な誤差。
×過学習を『精度が高いこと』と誤解する。訓練データに過剰適合し未知データへの汎化性能が下がる問題として理解する必要がある。
×Precision（適合率）とRecall（再現率）の取り違え。目的（見逃しを減らしたいか、誤検知を減らしたいか）によって重視する指標が変わる。
関連する確認問題
第5章 データ準備・可視化技法とモデル化 / データ準備
平均やばらつきが異なる複数の数値特徴量を、学習前に比較可能な尺度へそろえたい。使う前処理はどれか。
この事例では、状況を表す条件を定義や役割へ対応させると「標準化」に絞れる。正解は「標準化」である。標準化は、数値特徴量の平均やばらつきをそろえ、スケールの違いがモデル学習に与える影響を抑える前処理である。帰無仮説は検定、公開鍵暗号化方式はセキュリティ、データポータビリティは個人情報に関する制度論点であり、特徴量のスケール調整ではない。設問では「モデルに入力する数値特徴量」と「スケールをそろえる前処理」を結び付ける。検定、暗号化、制度の用語を除外し、データ準備の標準化を選ぶ。処理の対象と目的を分けて読むことが重要である。
第5章 データ準備・可視化技法とモデル化 / モデル化・評価
実際に陰性の人を、正しく陰性と判定できた割合を評価したい。使う指標はどれか。
この事例では、状況を表す条件を定義や役割へ対応させると「特異度」に絞れる。正解は「特異度」である。特異度は、実際には陰性であるデータのうち、モデルが正しく陰性と判定できた割合を表す分類評価指標である。RMSE、MAPE、決定係数は主に回帰モデルの予測誤差や当てはまりを評価する指標であり、陰性判定の正しさを直接表すものではない。設問では、評価対象が分類モデルであり、分母が実際の陰性、数える結果が正しく陰性とした件数だと読む。回帰評価指標を除外して特異度を選ぶ。分類か回帰かを最初に明確に分けると候補を絞りやすい。
第5章 データ準備・可視化技法とモデル化 / データ準備
品質レビューで次の判断を再検証する。無作為抽出による偶然のずれと、抽出方法による系統的な偏りを区別した説明として最も適切なものはどれか 根拠と用語の対応まで確認して選べ。
レビューでは、設問の対象と役割を分けると「標本誤差は偶然生じるばらつき、サンプリングバイアスは抽出方法の偏りによる系統的な誤差」を採用できる。正解は「標本誤差は偶然生じるばらつき、サンプリングバイアスは抽出方法の偏りによる系統的な誤差」である。標本誤差は標本を取る以上避けにくい偶然のずれだが、サンプリングバイアスは集め方が偏っていることで生じる。標本サイズを増やしても、抽出方法が偏ったままだとバイアスは残る。設問では二つの用語を、偶然のばらつきか抽出方法の偏りかで対応付ける。定義を逆にした選択肢、同じ意味とする選択肢、標本サイズだけで必ず解消するとする選択肢を明確に除外する。
同じ章で確認したい用語
到達チェック
- 強化学習を一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、強化学習に関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）