生成AIパスポート 用語解説
強化学習とは
行動の結果として得られる報酬を手がかりに、より多くの報酬を得る行動を試行錯誤で学習する枠組み。
まず押さえる結論
強化学習は、生成AIパスポートの「第1章 AI（人工知能）」で確認しておきたい用語です。 定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
混同しやすい用語との差
教師あり学習 / 教師なし学習 / 強化学習
教師あり学習は正解ラベルを使い、分類や回帰を行う学習です。教師なし学習はラベルなしデータから構造を見つけます。
強化学習は、正解ラベルではなく報酬を手がかりに行動を改善します。
見分け方: 問題文に「正解ラベル」「構造を見つける」「報酬」のどれがあるかを先に見ます。
試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
- 教師あり学習・教師なし学習・強化学習の取り違え。クラスタリングや次元削減は「教師なし」、分類や回帰は「教師あり」、報酬を手がかりに学ぶのが「強化学習」。
- 弱いAI（ANI）と強いAI（AGI）の混同。特定の課題に特化するのが弱いAI、人間のように幅広い課題へ汎用的に対応できるとされるのが強いAI。
- AIブームと中心技術の対応ずれ。第一次＝探索・推論、第二次＝エキスパートシステム、第三次＝ディープラーニングとビッグデータ。
関連する確認問題
第1章 AI（人工知能） / AIに知能をもたらす仕組み
正解ラベルのないデータから、データ自体に潜むパターンや構造を見つけ出す機械学習の手法はどれか。
ラベル（正解）が与えられないデータからパターンや構造を見つける学習を「教師なし学習」といい、その代表例がクラスタリングや次元削減である。教師あり学習は正解ラベルを使う学習、強化学習は報酬を手がかりに行動を最適化する枠組み、転移学習はある領域で学習した知識を別の領域に活かす手法で、いずれも教師なし学習ではない。
第1章 AI（人工知能） / AIに知能をもたらす仕組み
機械学習で、訓練データに過剰に適合してしまい、未知のデータに対する予測精度が下がってしまう現象を何というか。
訓練データに適合しすぎて未知データへの精度が落ちる現象が過学習（オーバーフィッティング）。正則化は過学習を抑えるための手法であって現象ではない。転移学習は学習済みの知識を別課題に活かす手法、強化学習は報酬を手がかりに学習する枠組みで、いずれも現象を指す語ではない。
第1章 AI（人工知能） / AIに知能をもたらす仕組み
ある課題を学習して得たモデルや知識を、別の関連する課題の学習に応用する手法を何というか。
学習済みの知識を別の関連課題に活かす手法が転移学習。過学習は訓練データに適合しすぎる現象、強化学習は報酬を手がかりに学習する枠組み、ドロップアウトは過学習を抑える手法で、いずれも知識を別課題に転用する手法ではない。
同じ章で確認したい用語
到達チェック
- 強化学習を一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、強化学習に関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる