機械学習の概要

G検定の強化学習とは（エージェント・報酬・方策・価値の関係）

G検定の大項目3「機械学習の概要」には、教師あり学習、教師なし学習と並んで強化学習が載っています。強化学習は、行動の結果として得られる数値の報酬を最大にするように、何をすべきかを学ぶ方法です。

このページは、強化学習の教科書の記述をもとに、エージェント・環境・報酬・方策・価値の役割、教師あり学習・教師なし学習との違い、探索と活用、割引率を整理しています。

公式情報の確認

試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。当サイトの一次情報確認日: 2026-10-02。

試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。

強化学習の教科書（Sutton・Barto『Reinforcement Learning: An Introduction』第2版）は、次の5つの語で問題を組み立てています。

語	教科書の説明
エージェント	学習し、意思決定をする主体
環境	エージェントの外側のすべて。エージェントが行動を選ぶと、環境が応答して新しい状況を示す
報酬	環境が返す数値。エージェントは、これを長い目で見て最大にしようとする。問題の目標を定めるのも報酬信号
方策	環境の知覚された状態から、その状態でとる行動への対応づけ
価値関数	ある状態から始めて、将来に累積すると期待できる報酬の総量

混同しやすいのは報酬と価値です。報酬は即時の良さ、価値は長い目で見た良さを示します。教科書は、ある状態がいつも低い報酬しか返さなくても、そのあとに報酬の高い状態が続くなら価値が高くなりうると述べています。

語	何を示すか	教科書の言い方
報酬	即時の意味での良さを示す	環境の状態が持つ、即時の本来的な望ましさ
価値	長い目で見た良さを示す	続く状態とそこで得られる報酬を考えに入れた、状態の長期的な望ましさ

一次資料: Sutton and Barto (2018) Reinforcement Learning: An Introduction, 2nd ed., 1.3節・3.1節

教科書は、強化学習を教師あり学習とも教師なし学習とも異なる、第3の機械学習のパラダイムとして位置づけています。

種類	何から学ぶか	手がかり
教師あり学習	ラベル付きの訓練例（状況と、とるべき行動の組）から学ぶ	知識のある外部の教師が正解を与える
教師なし学習	ラベルなしのデータに隠れた構造を探す	目的は構造を見つけることで、報酬の最大化ではない
強化学習	行動の結果として得られる報酬信号を最大にするように、何をすべきかを学ぶ	試行錯誤と遅延報酬が最も重要な特徴

試行錯誤と遅延報酬が、強化学習の最も重要な2つの特徴です。行動の良し悪しがすぐには分からず、あとになって報酬として返ってくる点が、正解が先に与えられる教師あり学習との違いです。

一次資料: Sutton and Barto (2018) Reinforcement Learning: An Introduction, 2nd ed., 1.1節

教科書は、エージェントは報酬を得るためにすでに経験した行動を活用する必要があり、同時に、よりよい行動を選べるようになるために、まだ試していない行動を探索する必要があると述べています。活用だけでも探索だけでも、課題に失敗するというのが、探索と活用のジレンマです。

もう一つの基本語が割引率です。教科書は、割引率γを0以上1以下の値とし、将来のk時点先の報酬の価値を、即時に受け取る場合のγの(k−1)乗倍に割り引くものだと説明します。 γが0なら、エージェントは即時の報酬を最大にすることだけを気にする近視眼的なものになります。

一次資料: Sutton and Barto (2018) Reinforcement Learning: An Introduction, 2nd ed., 1.1節・3.3節

JDLA公式シラバス（G2024#6〜）では、強化学習の関連語は、次の大項目のキーワード欄に載っています。

場所	内容
大項目3「機械学習の概要」	機械学習の種類として、教師あり学習、教師なし学習、強化学習のキーワードが並ぶ。方策勾配法とActor-Criticもキーワードにある
大項目6「ディープラーニングの応用例」	キーワード欄に深層強化学習とDQNが載る

具体的な手法の違いはQ学習と方策勾配法の違いに、深層学習との組み合わせはDQNのページにまとめています。10大項目全体の位置づけは出題範囲の整理で確認できます。