強化学習とは

まず押さえる結論

強化学習は、G検定の「大項目3 機械学習の概要」に出てくる用語です。見分けの要点は、教師あり学習は入力と正解ラベルの組から入出力関係を学ぶ枠組みで、報酬という概念を使いません。教師なし学習はラベルなしデータから構造やまとまりを見つける枠組みで、これも報酬にもとづく方策の改善が目的ではありません。強化学習はどちらとも異なり、行動の結果として得る報酬を手がかりに方策を改善します。

比較記事でさらに確認する

強化学習の具体例と、問題文で見る箇所・隣接概念との境界

正解ラベルを使う学習ではなく、行動の結果として得る報酬を手がかりに方策を改善する枠組みとして捉える

ゲームやロボット制御のように、正解を先に与えるのではなく、エージェントが環境の中で行動し、その結果として得られる報酬をもとに、長期的な報酬が大きくなるように行動の方針（方策）を改善していく場面があります。これが強化学習です。教師あり学習のように入力と正解ラベルの組をあらかじめ用意するのではなく、試行錯誤を繰り返しながら学習する点が特徴です。ディープラーニングと組み合わせた深層強化学習には、DQNのようにQ学習を基にする手法や、方策そのものを直接最適化する方策勾配法があります。

問題文で見る箇所

「エージェント」「環境」「報酬」「方策」という語がそろっていれば強化学習を候補にします。正解ラベルの有無で判断しようとすると教師あり学習・教師なし学習との区別を誤りやすいため、報酬を手がかりに試行錯誤するかどうかで判断します。

隣接概念との境界

教師あり学習は入力と正解ラベルの組から入出力関係を学ぶ枠組みで、報酬という概念を使いません。教師なし学習はラベルなしデータから構造やまとまりを見つける枠組みで、これも報酬にもとづく方策の改善が目的ではありません。強化学習はどちらとも異なり、行動の結果として得る報酬を手がかりに方策を改善します。

誤答しやすい選択肢

• 強化学習を、正解ラベル付きデータから入出力の対応を学ぶ教師あり学習の一種として扱う。強化学習に正解ラベルという概念はなく、報酬を手がかりにする点が異なります。
• 強化学習を、ラベルなしデータから構造やまとまりを見つける教師なし学習と同じ目的として扱う。強化学習の目的は構造の発見ではなく、報酬をもとにした方策の改善です。
• DQNと方策勾配法を区別せず同じアルゴリズムとして扱う。DQNはQ学習を基にする手法、方策勾配法は方策そのものを直接最適化する手法で、アルゴリズムの立て方が異なります。

4段階の判断手順

1. 01設問に「エージェント」「環境」「報酬」「方策」という語がそろっているかを確認する。
2. 02正解ラベルの有無ではなく、報酬を手がかりに試行錯誤するかどうかで教師あり学習・教師なし学習と区別する。
3. 03深層強化学習の具体的な手法を問われた場合、Q学習を基にするか（DQN）、方策を直接最適化するか（方策勾配法）を区別する。
4. 04報酬という語が出てこない選択肢を強化学習の説明から外す。

到達条件: 強化学習を報酬にもとづく方策の改善として説明し、教師あり学習・教師なし学習との違い、DQN・方策勾配法の違いを言える。

試験での問われ方

誤答しやすいポイント

「大項目3 機械学習の概要」の問題で、取り違えやすい組み合わせです。

• 教師あり・教師なし・強化学習の分類の取り違え（分類/回帰＝教師あり、クラスタリング/次元削減＝教師なし）。
• L1正則化（ラッソ＝係数が0になり変数選択も兼ねる）とL2正則化（リッジ＝係数を小さく抑えるが0にはなりにくい）の混同。
• 適合率（精度）と再現率の取り違えと、混同行列の読み違い。

関連する確認問題

同じ章で確認したい用語

他資格でも出題される用語