強化学習とは

まず押さえる結論

強化学習は、DS検定の「第5章 データ準備・可視化技法とモデル化」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。

具体例から判断の境界を固める

正解ラベルを使う学習ではなく、行動の結果として得る報酬を手がかりに方策を改善する枠組みとして捉える

ゲームやロボット制御のように、正解を先に与えるのではなく、エージェントが環境の中で行動し、その結果として得られる報酬をもとに、長期的な報酬が大きくなるように行動の方針（方策）を改善していく場面があります。これが強化学習です。教師あり学習のように入力と正解ラベルの組をあらかじめ用意するのではなく、試行錯誤を繰り返しながら学習する点が特徴です。ディープラーニングと組み合わせた深層強化学習には、DQNのようにQ学習を基にする手法や、方策そのものを直接最適化する方策勾配法があります。

問題文で見る箇所

「エージェント」「環境」「報酬」「方策」という語がそろっていれば強化学習を候補にします。正解ラベルの有無で判断しようとすると教師あり学習・教師なし学習との区別を誤りやすいため、報酬を手がかりに試行錯誤するかどうかで判断します。

隣接概念との境界

教師あり学習は入力と正解ラベルの組から入出力関係を学ぶ枠組みで、報酬という概念を使いません。教師なし学習はラベルなしデータから構造やまとまりを見つける枠組みで、これも報酬にもとづく方策の改善が目的ではありません。強化学習はどちらとも異なり、行動の結果として得る報酬を手がかりに方策を改善します。

誤答しやすい選択肢

• ×強化学習を、正解ラベル付きデータから入出力の対応を学ぶ教師あり学習の一種として扱う。強化学習に正解ラベルという概念はなく、報酬を手がかりにする点が異なります。
• ×強化学習を、ラベルなしデータから構造やまとまりを見つける教師なし学習と同じ目的として扱う。強化学習の目的は構造の発見ではなく、報酬をもとにした方策の改善です。
• ×DQNと方策勾配法を区別せず同じアルゴリズムとして扱う。DQNはQ学習を基にする手法、方策勾配法は方策そのものを直接最適化する手法で、アルゴリズムの立て方が異なります。

4段階の判断手順

1. 01設問に「エージェント」「環境」「報酬」「方策」という語がそろっているかを確認する。
2. 02正解ラベルの有無ではなく、報酬を手がかりに試行錯誤するかどうかで教師あり学習・教師なし学習と区別する。
3. 03深層強化学習の具体的な手法を問われた場合、Q学習を基にするか（DQN）、方策を直接最適化するか（方策勾配法）を区別する。
4. 04報酬という語が出てこない選択肢を強化学習の説明から外す。

到達条件: 強化学習を報酬にもとづく方策の改善として説明し、教師あり学習・教師なし学習との違い、DQN・方策勾配法の違いを言える。

試験での問われ方

誤答しやすいポイント

関連する確認問題

同じ章で確認したい用語

他資格でも出題される用語