用語比較
オンポリシーとオフポリシーの違い｜学ぶ方策と行動する方策が同じかで見分ける（G検定）
オンポリシーは、行動を決めるのに使っている方策そのものを評価・改善する学び方です。オフポリシーは、行動を決める方策とは別の方策を評価・改善する学び方です。
G検定では、SarsaとQ学習のどちらがオンポリシーかを問われる場面で、取り違えやすくなります。学ぶ方策と行動する方策が同じならオンポリシー、別ならオフポリシーと覚えると、選択肢を整理できます。
このページは、Sutton・Bartoの教科書『Reinforcement Learning: An Introduction』第2版の5.4節・5.5節・6.4節・6.5節をもとに、方策の数・データの使い方・長所と短所の3点で比べます。数値の例は、説明用の架空のデータです。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
オンポリシー
意思決定に使う方策そのものを評価・改善する。Sarsaが当たる。
オフポリシー
データを生成した方策とは異なる方策を評価・改善する。Q学習が当たる。
見分け方
学習の対象(対象方策)と、行動を生成する方策(行動方策)が、同じならオンポリシー、別ならオフポリシー。
違いを表で確認
| 比較軸 | オンポリシー | オフポリシー |
|---|---|---|
| 方策の数 | オンポリシー：1つ。行動する方策を、そのまま学ぶ | オフポリシー：2つ。学ぶ対象方策と、行動を生成する行動方策に分ける |
| 学習に使うデータ | オンポリシー：学んでいる方策自身が生成したデータ | オフポリシー：別の方策が生成したデータでも学べる |
| 長所 | オンポリシー：一般に単純 | オフポリシー：より強力で一般的。オンポリシーを特別な場合として含む |
| 短所 | オンポリシー：探索のため、最適方策そのものではなく、探索を続ける最適に近い方策の価値を学ぶことになる | オフポリシー：データが別の方策によるので、分散が大きく、収束が遅いことが多い |
| 代表的な手法 | オンポリシー：Sarsa(オンポリシーTD制御) | オフポリシー：Q学習(オフポリシーTD制御) |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
SarsaとQ学習のどちらがオンポリシーか聞かれる人
教科書は、Sarsaをオンポリシー、Q学習をオフポリシーのTD制御として扱っています。Q学習は、行動に使った方策と無関係に、最適な行動価値を直接近似します。
ε-greedy(イプシロン・グリーディ)の位置づけで迷う人
ε-greedyは、確率εでランダムに行動し、それ以外は価値が最大の行動を選ぶ方策です。オンポリシーでは学ぶ方策そのものとして使い、オフポリシーでは行動方策として使えます。
「過去のデータ」「別の方策のデータ」で学べるのはどちらか迷う人
別の方策が生成したデータから学べるのは、オフポリシーです。教科書は、人間の専門家が生成したデータから学ぶ場面にも触れています。
モデルベース・モデルフリーとの区別で迷う人
オンポリシーかオフポリシーかは、学ぶ方策と行動する方策が同じかの区別です。環境のモデルを使うかの区別とは別の軸です。
具体例で使い分ける
例 1
行動方策と対象方策の確率(架空のデータ)
行動が3つあり、行動方策はε＝0.1のε-greedy、対象方策は価値が最大の行動を必ず選ぶ貪欲方策とする。
- 行動方策が、価値が最大の行動を選ぶ確率は、1−0.1＋0.1÷3≒0.9333です。ほかの行動は、各0.0333です。
- 対象方策が選ぶ行動は、行動方策も0.9333の確率で選ぶので、被覆の仮定(対象方策が取る行動を、行動方策も取る)を満たします。
- 重要度の比は、π÷b。行動方策が最大の行動を選んだ場合は1÷0.9333≒1.0714、ほかの行動を選んだ場合は0です。
結論: 行動方策が探索のため別の行動を選んだデータは、対象方策の価値を推定するときに比が0になり、使われません。
例 2
SarsaとQ学習の1回の更新の比較(架空のデータ)
報酬1、次の状態での行動価値が4・3・1、実際に選んだ次の行動の価値は3、更新前のQ(s,a)＝2、α＝0.5、γ＝0.9とする。
- Sarsa(オンポリシー)の目標値は、実際に選んだ次の行動を使い、1＋0.9×3＝3.7です。更新後は、2＋0.5×(3.7−2)＝2.85です。
- Q学習(オフポリシー)の目標値は、次の状態の最大値を使い、1＋0.9×4＝4.6です。更新後は、2＋0.5×(4.6−2)＝3.3です。
結論: Sarsaは行動した方策の選び方に従い、Q学習は実際の行動と無関係に最大値を使います。
問題文から答えを選ぶ手順
- 1
方策の数を読む
対象方策と行動方策が別に出てくれば、オフポリシーです。
- 2
データの出どころを読む
別の方策が生成したデータで学ぶなら、オフポリシーです。
- 3
更新式を読む
更新式に実際に選んだ次の行動が入るならSarsa(オンポリシー)、次の状態の最大値が入るならQ学習(オフポリシー)です。
- 4
注意点を読む
分散が大きい・収束が遅いという記述は、オフポリシーの短所です。
試験での見分け方
- 1学ぶ方策と行動する方策が同じなのがオンポリシー。
- 2別なのがオフポリシー。
- 3Sarsaはオンポリシー、Q学習はオフポリシー。
- 4オフポリシーは、被覆の仮定が必要で、分散が大きい。
誤答しやすい選択肢
オフポリシーは、探索をしない手法だと考える
修正: オフポリシーは、探索をする行動方策と、最適を目指す対象方策を分ける手法です。探索はむしろ行動方策が担います。
オンポリシーは、探索をしない手法だと考える
修正: オンポリシーでも、ε-greedyのように確率εで探索する方策を学びます。教科書は、オンポリシーでは方策が、少しずつ決定論的な最適方策へ近づくと述べています。
オフポリシーは、必ずオンポリシーより優れると考える
修正: 教科書は、オンポリシーは一般に単純で、オフポリシーは分散が大きく収束が遅いことが多いと述べています。
確認問題
Q1学ぶ方策と行動する方策が同じ学び方は？
答え: オンポリシー
Sarsaが当たります。
Q2学ぶ対象方策と、行動を生成する行動方策が別の学び方は？
答え: オフポリシー
Q学習が当たります。
Q3対象方策が貪欲方策、行動方策がε＝0.1・3行動のε-greedyのとき、行動方策が最大の行動を選んだ場合の重要度の比は？
答え: 約1.0714
行動方策が最大の行動を選ぶ確率は1−0.1＋0.1÷3≒0.9333。対象方策の確率1をこれで割ると約1.0714です。
到達チェック
- オンポリシーは学ぶ方策と行動する方策が同じと言える
- オフポリシーは対象方策と行動方策が別と言える
- Sarsaがオンポリシー、Q学習がオフポリシーと言える
関連ページで確認する
同じ資格で次に知りたいこと
- 交差エントロピーと平均二乗誤差の違い｜分類と回帰で損失関数を使い分ける（G検定）
交差エントロピーと平均二乗誤差の違いを、使う場面(分類か回帰か)・勾配の大きさ・出力層との相性で整理。シグモイド出力での勾配の計算例、確認問題つき。G検定の損失関数の設問に使える。
- tanhとシグモイドの違い｜出力の範囲と0での値で見分ける（G検定の活性化関数）
tanh(ハイパボリックタンジェント)とシグモイド(ロジスティック)の違いを、出力の範囲・0での値・微分の最大値で整理。tanh(z)＝2σ(2z)−1の確認、勾配の計算例、確認問題つき。G検定の活性化関数の設問に使える。
- Xavier初期化とHe初期化の違い｜ReLUを使うときの重みの初期値の選び方（G検定）
Xavier初期化とHe初期化の違いを、導出の前提(線形かReLUか)・式(一様分布かガウス分布か)・向く活性化関数で整理。256入力・128出力の層での計算例と確認問題つき。G検定の重みの初期化の設問に使える。
よくある質問
Q対象方策と行動方策とは？
教科書は、学習の対象になる方策を対象方策、行動を生成するのに使う方策を行動方策と呼んでいます。
Q被覆の仮定とは？
対象方策が取る行動を、行動方策も少なくともときどき取る、という条件です。教科書は、π(a|s)>0ならb(a|s)>0と書いています。
Qオフポリシーは、なぜ分散が大きい？
教科書は、データが別の方策によるので、オフポリシー手法は分散が大きく収束が遅いことが多い、と述べています。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）