用語比較
モデルベースとモデルフリーの強化学習の違い｜環境のモデルを使うかで見分ける（G検定）
モデルベースは、環境のモデル(状態と行動から、次の状態と報酬を予測するもの)を使い、計画を立てて行動を決める強化学習です。モデルフリーは、環境のモデルを使わず、試行錯誤から直接学ぶ強化学習です。
G検定では、Q学習やDQNがモデルフリーだと問われる場面で、モデルの意味を取り違えやすくなります。環境の予測(モデル)を使って先を読むならモデルベース、実際に試した結果だけで学ぶならモデルフリーと覚えると、選択肢を整理できます。
このページは、Sutton・Bartoの教科書『Reinforcement Learning: An Introduction』第2版の1.3節・1.4節・8.1節をもとに、モデルの有無・計画の使い方・長所と短所の3点で比べます。数値の例は、説明用の架空のデータです。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
モデルベース
環境のモデルを使い、計画(実際に経験する前に、起こり得る先の状況を考えて行動を決めること)を行う。
モデルフリー
環境のモデルを使わない。教科書は、試行錯誤で学ぶ手法で、計画とほぼ正反対のものと見なせると述べる。
見分け方
「次の状態や報酬を予測するモデル」と「計画」が出てくればモデルベース。出てこず、経験から価値や方策を直接更新するならモデルフリー。
違いを表で確認
| 比較軸 | モデルベース | モデルフリー |
|---|---|---|
| 環境のモデル | モデルベース：使う。状態と行動から、次の状態と報酬を予測する | モデルフリー：使わない。教科書は、環境が1回の行動でどう変わるかを考えることさえできない、と述べる |
| 計画 | モデルベース：モデルを使って計画を立てる | モデルフリー：計画をしない。試行錯誤で学ぶ |
| 長所 | モデルベース：モデルが使えれば、実際に試す前に先を読める | モデルフリー：正確なモデルを作るのが難しい問題で、複雑な手法より有利になり得る |
| 短所 | モデルベース：モデルが十分に正確でないと役に立たない | モデルフリー：先を読む計画ができない |
| 関係 | モデルベース：モデルフリーの手法を部品として使うことがある | モデルフリー：モデルベースの部品にもなる |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
Q学習やDQNがどちらか聞かれる人
環境のモデルを使わずに、経験から行動価値を更新するので、モデルフリーに分類されます。
「計画」「シミュレーションで先を読む」の語が出てどちらか迷う人
環境のモデルを使って、実際に経験する前に先の状況を考えるのは、モデルベースです。
「モデル」が機械学習のモデルと何が違うのか迷う人
ここでのモデルは、学習済みのニューラルネットのことではありません。状態と行動を受け取り、次の状態と報酬を予測するもののことです。
両方を組み合わせた手法を聞かれる人
教科書は、試行錯誤で学ぶこと・環境のモデルを学ぶこと・そのモデルで計画することを同時に行うシステムを、8章で扱っています。2つは対立するだけでなく、混ぜることもできます。
具体例で使い分ける
例 1
モデルを使った1手先読み(架空のデータ)
状態sで行動a1を選ぶと、80%で状態s1、20%で状態s2へ進み、報酬は0。行動a2を選ぶと、確実に状態s2へ進み、報酬は5。割引率γ＝0.9、V(s1)＝10、V(s2)＝0とする。
- a1の価値は、0.8×(0＋0.9×10)＋0.2×(0＋0.9×0)＝7.2です。
- a2の価値は、1×(5＋0.9×0)＝5です。
結論: モデル(遷移の確率と報酬)があるので、実際に試す前に、a1を選べば良いと計算できます。これがモデルベースの考え方です。
例 2
モデルを使わないQ学習の1回の更新(架空のデータ)
実際に行動して、報酬1、次の状態でのQの最大値が4だった。更新前のQ(s,a)＝2、学習率α＝0.5、γ＝0.9とする。
- 目標値は、1＋0.9×4＝4.6です。
- 更新後のQ(s,a)は、2＋0.5×(4.6−2)＝3.3です。
結論: 遷移の確率は使わず、実際に起きた1回の結果だけで更新しています。これがモデルフリーの考え方です。
問題文から答えを選ぶ手順
- 1
モデルの有無を読む
状態と行動から次の状態と報酬を予測するモデルを使うならモデルベースです。
- 2
計画の語を読む
実際に経験する前に先の状況を考えるなら、モデルベースです。
- 3
更新の材料を読む
実際に起きた結果だけで価値や方策を更新するなら、モデルフリーです。
- 4
手法名を読む
Q学習・SARSA・方策勾配法・DQNは、モデルフリーに分類されます。
試験での見分け方
- 1環境のモデルを使って計画するのがモデルベース。
- 2モデルを使わず、試行錯誤で学ぶのがモデルフリー。
- 3ここでのモデルは、次の状態と報酬を予測するもの。
- 4両者を同時に使うシステムもある。
誤答しやすい選択肢
モデルフリーは、ニューラルネットを使わない手法だと考える
修正: モデルの有無は、環境の予測を使うかどうかの区別です。DQNはニューラルネットを使いますが、環境のモデルは使いません。
モデルベースは、必ずモデルフリーより優れると考える
修正: 教科書は、モデルが十分に正確でないと役に立たないため、正確なモデルを作るのが難しい問題ではモデルフリーが有利になり得ると述べています。
価値関数を学ぶ手法は、すべてモデルフリーだと考える
修正: 価値関数を更新するかどうかでなく、環境のモデルを使うかで区別します。教科書は、動的計画法が使う遷移の確率も、モデルの一種として扱っています。
確認問題
Q1環境のモデルを使って計画を立てる強化学習は？
答え: モデルベース
モデルは、状態と行動から、次の状態と報酬を予測します。
Q2環境のモデルを使わず、試行錯誤で学ぶ強化学習は？
答え: モデルフリー
Q学習やDQNが当たります。
Q3報酬1、次の状態のQの最大値4、更新前Q＝2、α＝0.5、γ＝0.9のとき、更新後のQは？
答え: 3.3
2＋0.5×(1＋0.9×4−2)＝3.3です。
到達チェック
- モデルベースは環境のモデルで計画すると言える
- モデルフリーは試行錯誤で直接学ぶと言える
- Q学習がモデルフリーだと言える
関連ページで確認する
同じ資格で次に知りたいこと
- tanhとシグモイドの違い｜出力の範囲と0での値で見分ける（G検定の活性化関数）
tanh(ハイパボリックタンジェント)とシグモイド(ロジスティック)の違いを、出力の範囲・0での値・微分の最大値で整理。tanh(z)＝2σ(2z)−1の確認、勾配の計算例、確認問題つき。G検定の活性化関数の設問に使える。
- オンポリシーとオフポリシーの違い｜学ぶ方策と行動する方策が同じかで見分ける（G検定）
強化学習のオンポリシーとオフポリシーの違いを、対象方策と行動方策が同じか別かで整理。被覆の仮定、重要度の比の計算例、SarsaとQ学習の1回の更新の比較、確認問題つき。G検定の強化学習の設問に使える。
- ハードマージンとソフトマージンの違い｜誤分類を許さないか、許すかで見分ける（G検定のSVM）
SVMのハードマージンとソフトマージンの違いを、誤分類の扱い・分けられるデータ・パラメータCの役割で整理。スラックの計算例、Cを変えたときのペナルティの例、確認問題つき。G検定のSVMの設問に使える。
よくある質問
Qモデルベースのモデルには、何種類ある？
教科書は、起こり得る結果とその確率をすべて出す分布モデルと、確率に従って1つだけ出す標本モデルに分けています。
Qモデルフリーは、なぜ今も使われる？
教科書は、モデルフリーの手法が、モデルベースの手法の部品にもなると述べています。また、正確なモデルを作るのが難しい問題では有利になり得ます。
Q両方を組み合わせた例は？
教科書の8章は、Dyna-Qを、オンラインで計画するエージェントに必要な主な機能をまとめた簡単な構成として紹介しています。実際の経験は、モデルを改善するためにも、価値や方策を直接改善するためにも使えます。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）