用語比較
モーメンタム付きSGDと通常のSGDの違い｜更新式と3ステップの手計算で比較（G検定）
モーメンタム付きSGDは、通常のSGDに「速度」を加えた手法です。直前までの勾配の向きを引き継いで進むので、同じ向きの勾配が続くと更新が大きくなります。
教科書『Deep Learning』（Goodfellowら）8章は、モーメンタムが速度vという変数を導入し、vを負の勾配の指数的に減衰する平均として設定すると説明しています。G検定の「学習の仕組み」には、確率的勾配降下法（SGD）とモーメンタムがキーワードとして挙がっています。
このページでは、2つの更新式を並べ、学習率ε=0.1・モーメンタムのパラメータα=0.9で3ステップを手計算して違いを確かめます。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
通常のSGD
θ←θ−ε×勾配。毎回の更新量は、その時点の勾配だけで決まる。
モーメンタム付きSGD
v←αv−ε×勾配、θ←θ+v。過去の更新の向きを速度vとして引き継ぐ。
αの役割
αは過去の速度をどれだけ残すかを決める。α=0なら通常のSGDと同じになる。
違いを表で確認
| 比較軸 | 通常のSGD | モーメンタム付きSGD |
|---|---|---|
| 更新式 | 通常のSGD：θ←θ−ε×勾配 | モーメンタム付きSGD：v←αv−ε×勾配、θ←θ+v |
| 更新量を決めるもの | 通常のSGD：現在の勾配だけ | モーメンタム付きSGD：現在の勾配と、過去の速度v |
| 追加のハイパーパラメータ | 通常のSGD：学習率εのみ | モーメンタム付きSGD：学習率εとモーメンタムのパラメータα |
| 同じ向きの勾配が続くとき | 通常のSGD：更新量は毎回同じ | モーメンタム付きSGD：更新量が積み重なって大きくなる |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
「モーメンタム」を、学習率の別名だと思っている人
学習率εは勾配にかける係数、モーメンタムのパラメータαは過去の速度vにかける係数です。別のハイパーパラメータです。
AdamやRMSpropとの位置づけが混ざる人
モーメンタムは、更新の向きに過去の勾配の履歴を使う工夫です。AdaGradやRMSpropは、勾配の大きさに応じて更新幅を調整する別の工夫です。
式のvの符号で迷う人
vは負の勾配の方向に進む速度です。勾配が正なら、vは負になり、θは減る方向に動きます。
具体例で使い分ける
例 1
勾配が2のまま続くとき：通常のSGD
パラメータθの初期値は1.0、学習率ε=0.1、勾配は毎回2とします（単純化した架空の値）。
- 1回目：θ=1.0−0.1×2=0.8です。
- 2回目：θ=0.8−0.2=0.6、3回目：θ=0.6−0.2=0.4です。
結論: 更新量は毎回0.2で、3回後のθは0.4です。
例 2
勾配が2のまま続くとき：モーメンタム付きSGD（α=0.9）
同じ条件で、速度vの初期値は0、α=0.9とします。
- 1回目：v=0.9×0−0.1×2=−0.2、θ=1.0−0.2=0.8です。
- 2回目：v=0.9×(−0.2)−0.2=−0.38、θ=0.8−0.38=0.42です。
- 3回目：v=0.9×(−0.38)−0.2=−0.542、θ=0.42−0.542=−0.122です。
結論: 更新量が0.2、0.38、0.542と増え、3回後のθは−0.122です。通常のSGDの0.4より先まで進みます。
例 3
途中で勾配の向きが逆になったとき
上の2回目まで進んだ後（v=−0.38）、3回目の勾配が−2に変わったとします（架空の値）。
- 通常のSGD：θ=0.6−0.1×(−2)=0.8で、向きがすぐ逆になります。
- モーメンタム付き：v=0.9×(−0.38)−0.1×(−2)=−0.342+0.2=−0.142です。
- θ=0.42−0.142=0.278で、まだ減る向きに進みます。
結論: モーメンタム付きは速度を引き継ぐため、勾配の向きが変わってもすぐには止まりません。
問題文から答えを選ぶ手順
- 1
更新式にvがあるかを見る
vと、それにかけるαがあればモーメンタム付き、現在の勾配だけならば通常のSGDです。
- 2
αの値で挙動を考える
α=0なら過去の速度は残らず、通常のSGDと同じです。αが大きいほど過去の速度が残ります。
- 3
勾配の向きを追う
同じ向きが続くなら更新量は増え、向きが変わっても、直前の速度の分だけ前の向きに進みます。
試験での見分け方
- 1モーメンタム付きSGDはv←αv−ε×勾配、θ←θ+v。
- 2vは、負の勾配の指数的に減衰する平均として扱われる。
- 3α=0のモーメンタム付きSGDは、通常のSGDと一致する。
- 4モーメンタムは更新の向きに履歴を使う工夫で、AdaGradやRMSpropの更新幅の調整とは別。
誤答しやすい選択肢
モーメンタムを学習率の別名だと考える
修正: 学習率εは勾配にかける係数、αは過去の速度vにかける係数です。例の計算では、εが0.1、αが0.9と別の値でした。
モーメンタム付きだと更新量が必ず増えると考える
修正: 更新量が増えるのは、同じ向きの勾配が続くときです。向きが逆になると、速度は小さくなります。例では、v=−0.38が−0.142に縮みました。
α=0のときの意味を取り違える
修正: α=0ならv=−ε×勾配となり、θ←θ−ε×勾配の通常のSGDと同じです。
モーメンタムとRMSpropを同じ仕組みだと考える
修正: モーメンタムは勾配の向きの履歴を使います。RMSpropは勾配の大きさの履歴で更新幅を調整します。
確認問題
Q1ε=0.1、勾配2、v=0（初期）、α=0.9のとき、1回目のvは？
答え: −0.2
0.9×0−0.1×2=−0.2です。
Q2続けて勾配が2のとき、2回目のvは？
答え: −0.38
0.9×(−0.2)−0.2=−0.38です。
Q3α=0のモーメンタム付きSGDは、何と同じ更新になる？
答え: 通常のSGD
v=−ε×勾配となり、θ←θ+vはθ←θ−ε×勾配と一致します。
Q4モーメンタムのvは、何の指数的に減衰する平均として設定される？
答え: 負の勾配
教科書『Deep Learning』8章の説明です。
Q5モーメンタムは、更新の何に履歴を使う工夫か？
答え: 更新の向き（速度）
更新幅の調整に履歴を使うAdaGradやRMSpropとは別の工夫です。
到達チェック
- 通常のSGDとモーメンタム付きSGDの更新式を書ける
- 学習率εとαの役割を区別できる
- α=0のとき通常のSGDに戻ることを説明できる
- モーメンタムとAdaGrad・RMSpropの違いを一言で言える
関連ページで確認する
同じ資格で次に知りたいこと
- 特許の新規性と進歩性の違い｜特許法29条1項と2項の条文で比較（G検定）
特許の新規性は特許法29条1項（出願前に公知・公然実施・刊行物記載の発明は特許を受けられない）、進歩性は29条2項（通常の知識を有する者が容易に発明できたときは特許を受けられない）です。条文の構造と、30条の1年の例外を事例で整理します。
- ジニ不純度とエントロピーの違い｜決定木の分割基準を10個のデータで手計算（G検定）
ジニ不純度はΣp(1−p)、エントロピーは−Σp log p で、どちらも決定木が分割を選ぶ不純度の尺度です。クラスが6対4のノードでジニ0.48・エントロピー0.971、2通りの分割で不純度の減少を計算し、違いを整理します。
- SVMの線形カーネルとRBFカーネルの違い｜類似度の式と、γ・Cの役割を数値例で比較（G検定）
SVMの線形カーネルは内積、RBFカーネルはexp(−γ‖x−x'‖²)で2点の類似度を測ります。距離の2乗が1と4の点で、γ=1なら0.368と0.018、γ=0.5なら0.607と0.135になる手計算と、Cとγの役割を整理します。
よくある質問
Qモーメンタム付きSGDと通常のSGDの違いは？
通常のSGDは現在の勾配だけで更新し、モーメンタム付きは速度vを使ってv←αv−ε×勾配、θ←θ+vと更新します。過去の更新の向きを引き継ぎます。
Qモーメンタムのαは何を決める？
過去の速度をどれだけ残すかです。α=0なら通常のSGDと同じ更新になります。
QモーメンタムはG検定で問われる？
公式の出題範囲の「学習の仕組み」に、確率的勾配降下法（SGD）とモーメンタムがキーワードとして挙がっています。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）