用語比較
探索と活用の違い｜ε-greedy法で両者を両立する仕組み（G検定・強化学習）
活用は、いま最も価値が高いと推定している行動を選ぶことです。探索は、それ以外の行動をあえて選び、価値の推定を改善することです。
G検定の強化学習では、この2つが両立しにくいこと、そしてε-greedy法でどう両立するかが問われます。推定で最良なら活用、それ以外なら探索と覚えると、選択肢を整理できます。
このページは、Sutton・Bartoの教科書『Reinforcement Learning: An Introduction』第2版の2章をもとに、選ぶ行動・短期と長期の報酬・ε-greedy法の仕組みで比べます。数値の例は、説明用の架空のデータです。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
活用(exploit)
推定値が最大の行動(貪欲な行動)を選ぶ。教科書は、1ステップの期待報酬を最大にする正しい行動だと述べる。
探索(explore)
貪欲でない行動を選ぶ。教科書は、長期ではより大きな総報酬を生み得ると述べる。
ε-greedy法
ほとんどは貪欲に、小さな確率εで無作為に行動を選ぶ。両方を一定の割合で行う方法。
違いを表で確認
| 比較軸 | 活用(exploit) | 探索(explore) |
|---|---|---|
| 選ぶ行動 | 活用：推定値が最大の行動(貪欲な行動) | 探索：貪欲でない行動 |
| 短期の報酬 | 活用：1ステップの期待報酬を最大にする | 探索：探索中は、短期の報酬が低くなることがある |
| 長期の報酬 | 活用：劣って見える行動を試さないので、よりよい行動を見逃すおそれがある | 探索：よりよい行動を見つければ後で何度も活用でき、長期では高くなり得る |
| 目的 | 活用：現在の知識を使って報酬を得る | 探索：行動の価値の推定を改善する |
| 両立 | 活用：1回の行動選択では、探索と同時にできない | 探索：教科書は、これを探索と活用の「対立」と呼ぶ。ε-greedy法で割合を決めて両立する |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
貪欲に選び続ければ報酬が最大になると考える人
教科書は、貪欲な行動選択は劣って見える行動を試さず、よりよい行動を見逃し得ると述べています。推定値が不確かなうちは、探索が長期の総報酬を高めることがあります。
ε-greedy法のεが何を表すか聞かれる人
εは、行動価値の推定値と無関係に、すべての行動から等しい確率で無作為に選ぶ確率です。εが大きいほど探索が多く、0なら貪欲な行動だけを選びます。
環境が変わっていく場合を聞かれる人
教科書は、行動の真の価値が時間とともに変わる非定常な場合は、決定論的でも探索が必要だと述べています。強化学習で最もよく出会うのは、この非定常の場合です。
探索を増やす別の方法を聞かれる人
教科書は、楽観的初期値という方法を挙げています。初期の推定値を実際より高くすると、どの行動を選んでも期待外れになり、貪欲に選び続けても、多くの行動が試されます。
具体例で使い分ける
例 1
行動が10個、ε＝0.1の選択確率(架空のデータ)
行動が10個あり、ε＝0.1のε-greedy法で行動を選ぶ。貪欲な行動は1つとする。
- 確率0.9で貪欲な行動を選びます。確率0.1で、10個の行動から等しい確率で無作為に選びます。無作為の場合にも、貪欲な行動は1／10の確率で選ばれます。
- そのため、貪欲な行動を選ぶ確率は0.9＋0.1×(1／10)＝0.91です。貪欲でない各行動を選ぶ確率は、0.1×(1／10)＝0.01です。
結論: 「1−ε」は、貪欲な行動を選ぶ確率の下限に当たります。無作為の場合にも貪欲な行動が選ばれるため、実際の確率は1−εより少し大きくなります。
例 2
行動が2つ、ε＝0.5の選択確率(架空のデータ)
行動が2つあり、ε＝0.5のε-greedy法で行動を選ぶ。
- 確率0.5で貪欲な行動を選びます。残りの0.5で無作為に選ぶとき、貪欲な行動は1／2の確率で選ばれます。
- 貪欲な行動を選ぶ確率は、0.5＋0.5×(1／2)＝0.75です。
結論: εが大きいと探索が増えるぶん、貪欲な行動を選ぶ確率は下がります。
問題文から答えを選ぶ手順
- 1
選ぶ行動を読む
推定値が最大の行動なら活用、それ以外なら探索です。
- 2
目的の語を読む
「報酬を得る」は活用、「推定を改善する」は探索の説明です。
- 3
手法の語を読む
「確率εで無作為に選ぶ」ならε-greedy法、「常に最大の推定値」なら貪欲法です。
試験での見分け方
- 1推定値が最大の行動を選ぶのが、活用。
- 2それ以外の行動を選ぶのが、探索。
- 3短期の報酬は活用、長期の総報酬は探索が高めることがある。
- 4ε-greedy法は、確率εで無作為に選ぶ。
誤答しやすい選択肢
探索は、報酬を下げるだけの無駄な行動だと考える
修正: 探索中は短期の報酬が低くなることがあります。ただし教科書は、よりよい行動を見つければ後で何度も活用でき、長期では高くなり得ると述べています。
ε-greedy法で、貪欲な行動を選ぶ確率は、ちょうど1−εだと考える
修正: 無作為に選ぶ場合にも、貪欲な行動が選ばれます。行動が10個でε＝0.1なら、0.91です。
探索と活用は、同時にできると考える
修正: 教科書は、1回の行動選択で探索と活用の両方はできないため、両者の「対立」と呼ぶと述べています。
確認問題
Q1行動価値の推定値が最大の行動を選ぶことを何という？
答え: 活用(exploit)
それ以外の行動を選ぶのが、探索(explore)です。
Q2ε-greedy法でεが表すものは？
答え: 無作為に行動を選ぶ確率
推定値と無関係に、すべての行動から等しい確率で選びます。
Q3行動が2つ、ε＝0.5のとき、貪欲な行動を選ぶ確率は？
答え: 0.75
0.5＋0.5×(1／2)＝0.75です。
到達チェック
- 活用が推定値最大の行動、探索がそれ以外だと言える
- 短期は活用、長期は探索が効くことがあると言える
- ε-greedy法のεが無作為に選ぶ確率だと言える
関連ページで確認する
同じ資格で次に知りたいこと
- Xavier初期化とHe初期化の違い｜ReLUを使うときの重みの初期値の選び方（G検定）
Xavier初期化とHe初期化の違いを、導出の前提(線形かReLUか)・式(一様分布かガウス分布か)・向く活性化関数で整理。256入力・128出力の層での計算例と確認問題つき。G検定の重みの初期化の設問に使える。
- RNNとLSTMの違い｜忘却ゲートで長期の記憶を保つ仕組み（G検定・ディープラーニング）
RNNとLSTMの違いを、勾配消失への強さ・内部の構造・ゲートの役割・パラメータ数で整理。0.9の20乗を使った勾配の減り方の計算例と確認問題つき。G検定の再帰型ニューラルネットワークの設問に使える。
- 交差エントロピーと平均二乗誤差の違い｜分類と回帰で損失関数を使い分ける（G検定）
交差エントロピーと平均二乗誤差の違いを、使う場面(分類か回帰か)・勾配の大きさ・出力層との相性で整理。シグモイド出力での勾配の計算例、確認問題つき。G検定の損失関数の設問に使える。
よくある質問
Q貪欲法とε-greedy法の違いは？
貪欲法は常に推定値が最大の行動を選びます。ε-greedy法は、ほとんどは貪欲に選び、小さな確率εで無作為に選びます。
Qε-greedy法は、最終的に最適な行動を見つける？
教科書は、ステップ数が増えるとすべての行動が無限回選ばれ、推定値が真の価値に収束し、最適な行動を選ぶ確率が1−ε超に収束すると述べます。ただしこれは漸近的な保証で、実用上の有効性はほとんど述べないとも書いています。
Q楽観的初期値とは？
教科書は、初期の推定値を高く置く方法と説明します。報酬が平均0・分散1の正規分布から出る課題で、初期値を＋5とする例を挙げ、初期値0のε-greedy法と比べて、初期は成績が悪くても、探索が時間とともに減るので最終的に上回ると述べています。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）