用語比較
TD学習とモンテカルロ法の違い｜次の1ステップの推定で更新するか、エピソード終了後の実際の収益で更新するか（G検定）
TD学習（時間差分学習）とモンテカルロ法は、どちらも環境のモデルを使わずに、実際に経験したデータから価値を学ぶ強化学習の手法です。G検定の強化学習では、更新のタイミングの説明で取り違えやすくなります。
TD学習は次の1ステップで得た報酬と次の状態の推定値で更新し、モンテカルロ法はエピソードが終わって実際の収益が分かってから更新すると覚えると、選択肢を切り分けられます。
このページは、Sutton・Bartoの教科書『Reinforcement Learning: An Introduction』第2版の6.1節の記述をもとに比べます。ゲームの局面を乱数で何度も先まで試して評価するモンテカルロ法（プレイアウト）とは別の話です。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
TD学習
次の時刻まで待てば、観測した報酬と次の状態の推定値から目標を作って更新できる。既存の推定値を使うため、ブートストラップの手法である。
モンテカルロ法
訪問のあとの収益が分かるまで待ち、その収益を目標にして更新する。エピソードの終わりまで待つ必要がある。
見分け方
選択肢に「次の状態の価値の推定値を使う」「1ステップごとに更新」があればTD学習、「エピソード終了後の実際の収益」があればモンテカルロ法（試験向けの目安）。
違いを表で確認
| 比較軸 | TD学習 | モンテカルロ法 |
|---|---|---|
| 更新の目標 | TD学習（TD(0)）：報酬 R(t+1) ＋ 割引率 × 次の状態の価値の推定 V(S(t+1)) | モンテカルロ法：その後に実際に得た収益 G(t) |
| 更新のタイミング | TD学習：次の1ステップを待てば、観測した報酬と推定値で有用な更新ができる | モンテカルロ法：エピソードの終わりまで待たないと、更新の増分が決まらない |
| ブートストラップ | TD学習：ある推定値を、別の推定値をもとに更新する（ブートストラップする） | モンテカルロ法：実際の収益で更新するので、ブートストラップしない |
| 環境のモデル | TD学習：環境の動きのモデルなしに、経験から直接学べる | モンテカルロ法：環境の動きのモデルなしに、経験から直接学べる（TD学習と共通） |
| ほかの手法との関係 | TD学習：モンテカルロ法のサンプリングと、動的計画法のブートストラップを組み合わせた手法 | モンテカルロ法：サンプルした経験の収益を目標にする。動的計画法のブートストラップは使わない |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
「次の状態の価値の推定値を目標に使う」という語が出る人
TD学習です。観測した報酬と、次の状態の現在の推定値から目標を作ります。
「エピソードが終わってから更新」という語が出る人
モンテカルロ法です。実際の収益が分かるのは、エピソードが終わったあとだからです。
「ブートストラップ」という語が出る人
TD学習です。推定値を別の推定値で更新する性質を指します。モンテカルロ法はこの性質を持ちません。
具体例で使い分ける
例 1
同じ1回の経験から、2つの手法で更新する場合（自作の架空の数値例）
状態Sの現在の価値の推定を2、学習率を0.5、割引率を0.9とします。Sから進んで報酬1を受け取り、次の状態S′に移りました。S′の現在の推定は4で、エピソードを最後まで進めたあとの実際の収益は5でした。
- TD学習の目標は 1＋0.9×4＝4.6 で、更新後は 2＋0.5×(4.6−2)＝3.3 です。報酬1を受け取った直後に計算できます。
- モンテカルロ法の目標は実際の収益5で、更新後は 2＋0.5×(5−2)＝3.5 です。エピソードが終わってから計算します。
結論: 更新の式の形は同じで、目標の作り方と計算できる時点が違います。
例 2
選択肢に「エピソードの終了を待たずに更新できる」が出る場合（架空の場面）
「エピソードの終了を待たず、1ステップごとに価値の推定を更新できる手法はどれか」という問いがあります。
- 教科書は、モンテカルロ法はエピソードの終わりまで待つ必要があり、TD法は次の時刻まで待てばよいと述べます。
- 待たずに更新できるのは、次の状態の推定値を使うTD学習です。
結論: 終了を待たずに更新できるならTD学習です。
例 3
選択肢に「どちらも推定値を使わず実際の収益だけで更新する」が出る場合（架空の場面）
「TD学習もモンテカルロ法も、実際の収益だけを目標にする」という文の正誤を問う問いがあります。
- 実際の収益だけを目標にするのはモンテカルロ法です。
- TD学習の目標には、次の状態の価値の推定値が入ります。
結論: TD学習が実際の収益だけを目標にする、という部分が誤りです。
問題文から答えを選ぶ手順
- 1
更新の目標を見る
「報酬＋次の状態の推定値」ならTD学習、「実際の収益」ならモンテカルロ法です。
- 2
更新のタイミングを見る
次の1ステップで更新できるならTD学習、エピソードの終わりまで待つならモンテカルロ法です。
- 3
ブートストラップを見る
推定値を別の推定値で更新するならTD学習です。
- 4
語の意味を確かめる
局面を乱数で先まで試す話なら、価値の学習ではなくプレイアウトのモンテカルロ法です。
試験での見分け方
- 1TD学習は、次の時刻まで待てば、観測した報酬と次の状態の推定値から目標を作って更新できる。
- 2モンテカルロ法は、訪問のあとの収益が分かるまで待ち、その収益を目標にして更新する。
- 3TD学習は、モンテカルロ法のサンプリングと動的計画法のブートストラップを組み合わせた手法である。
誤答しやすい選択肢
TD学習も実際の収益を目標にすると考える
修正: 実際の収益を目標にするのはモンテカルロ法です。TD学習の目標は、報酬と次の状態の推定値で作ります。
TD学習は環境のモデルが必要だと考える
修正: 教科書は、TD法もモンテカルロ法と同じく、環境の動きのモデルなしに生の経験から直接学べると述べます。
強化学習のモンテカルロ法と、局面を乱数で試すモンテカルロ法を同じものと考える
修正: ここで比べているのは、収益を目標に価値を更新する手法です。ゲームの局面を終局まで何度も試す方法は、別のページで扱います。
確認問題
Q1エピソードの終わりまで待たず、次の1ステップの報酬と次の状態の推定値で価値を更新する手法は？
答え: TD学習
教科書は、TD法は次の時刻まで待てばよいと述べます。
Q2推定値を別の推定値をもとに更新する性質を何と呼びますか？
答え: ブートストラップ
TD学習はこの性質を持ち、モンテカルロ法は持ちません。
Q3モンテカルロ法が更新の目標に使うものは？
答え: 訪問のあとに実際に得た収益
収益が分かるまで、つまりエピソードの終わりまで待ってから更新します。
到達チェック
- TD学習の更新の目標（報酬＋次の状態の推定値）を言える
- モンテカルロ法の更新の目標（実際の収益）を言える
- ブートストラップがTD学習の性質だと言える
関連ページで確認する
同じ資格で次に知りたいこと
- DQNとDouble DQNの違い｜学習目標で行動の選択と評価を同じ網で行うか、分けるか（G検定）
DQNとDouble DQNの違いを、学習目標で行動を選ぶ網と価値を評価する網の分け方、価値の過大評価、ターゲットネットワークの使い方で整理。G検定の強化学習の選択肢を切り分ける判断手順と確認問題つき。
- A3CとDQNの違い｜経験再生で安定させる価値ベースか、並列の非同期学習で安定させるアクター・クリティックか（G検定）
A3CとDQNの違いを、学習の安定のさせ方（経験再生か並列のアクター・ラーナーか）、学ぶもの（行動価値か方策と状態価値か）、必要な計算資源で整理。G検定の深層強化学習の選択肢を切り分ける判断手順と確認問題つき。
- RMSpropとAdamの違い｜勾配の2乗の移動平均か、1次のモーメントとバイアス補正も使うか（G検定）
RMSpropとAdamの違いを、使う統計量（2乗の移動平均・1次と2次のモーメント）、更新の作り方、バイアス補正の有無で整理。G検定の最適化手法の選択肢を切り分ける判断手順と確認問題つき。
よくある質問
QTD学習とモンテカルロ法の違いは？
TD学習は、次の1ステップで得た報酬と次の状態の推定値から目標を作って更新します。モンテカルロ法は、エピソードが終わって実際の収益が分かってから、それを目標にして更新します。
Qブートストラップとは何ですか？
推定値を、別の推定値をもとに更新する性質です。TD学習はこの性質を持ちます。
QTD(0)の「0」は何ですか？
教科書は、TD(0)を1ステップTDとも呼び、TD(λ)やnステップTD法の特別な場合だと述べます。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）