用語比較

AdaGradとRMSpropの違い｜過去の勾配を全部足すか、古い分を薄めるか（G検定）

AdaGradもRMSpropも、パラメータごとに学習率を変える最適化手法です。違いは、勾配の2乗の貯め方にあります。AdaGradは過去の勾配の2乗を全部足し続け、RMSpropは移動平均で古い分を薄めながら貯めます。

AdaGradは足し続けるので学習率が下がり続け、RMSpropは古い分を薄めるので下がり続けないと覚えると、G検定の最適化手法の選択肢を切り分けられます。

このページは、英語版Wikipedia「Stochastic gradient descent」の記述をもとに、貯め方・学習率の変化・年・Adamとの関係で比べます。数値の例は、説明用の架空の値です。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。

結論

AdaGrad

2011年。過去の勾配の2乗の累積和の平方根で学習率を割る。更新が多いパラメータほど学習率が下がる。

RMSprop

2012年。勾配の2乗の移動平均の平方根で学習率を割る。減衰係数で古い勾配の影響を徐々に小さくする。

見分け方

「累積和」ならAdaGrad、「移動平均・減衰」ならRMSprop。RMSpropにモメンタムを加えたのがAdam。

違いを表で確認

比較軸	AdaGrad	RMSprop
勾配の2乗の貯め方	AdaGrad：過去の勾配の2乗を、すべて足し合わせる	RMSprop：勾配の2乗の移動平均を取り、減衰係数で古い分を薄める
学習率の変化	AdaGrad：分母が減らないので、同じパラメータの有効な学習率は増えない	RMSprop：古い勾配の寄与が減るので、最近の勾配が小さければ分母も小さくなりうる
得意な場面	AdaGrad：疎なデータで、疎なパラメータほど情報量が大きい設定。更新が少ないパラメータに高い学習率を与える	RMSprop：ミニバッチでも使え、AdaGradの考え方に減衰を加えて非凸な問題にも使われる
登場	AdaGrad：2011年に発表された	RMSprop：2012年。論文ではなくCoursera講義で説明された
Adamとの関係	AdaGrad：Adamの前に登場した適応的な手法の一つ	RMSprop：2014年のAdamは、RMSpropの適応的な考え方にモメンタムを加えた更新

G検定の学習に使う書籍（Amazon）

試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。

深層学習教科書ディープラーニング G検定（ジェネラリスト）公式テキスト第3版の表紙

深層学習教科書ディープラーニング G検定（ジェネラリスト）公式テキスト第3版試験を実施する日本ディープラーニング協会が監修した公式テキストです。Amazonで見る

ほかの資格を含む参考書・問題集の一覧を見る

どこで迷っているかを切り分ける

「学習率が小さくなり続ける」選択肢を問われる人

過去の勾配の2乗を足し続けるAdaGradの性質です。分母が減らないので、学習が進むほど更新幅が小さくなります。

「移動平均」「減衰係数」の語が出る問題に当たった人

RMSpropの特徴です。勾配の2乗の移動平均を取り、古い勾配の影響を徐々に小さくします。

SGD・モメンタム・AdaGrad・RMSprop・Adamを一度に整理したい人

学習率を固定するのがSGD、方向に慣性を付けるのがモメンタム、パラメータごとに学習率を変えるのがAdaGradとRMSpropです。Adamはその両方の考え方を持ちます。

具体例で使い分ける

例 1

勾配が毎回1のときの更新幅（架空の値）

学習率ηを0.1、あるパラメータの勾配が毎回1のとき、AdaGradの更新幅はどう変わりますか。

AdaGradの分母は、過去の勾配の2乗の和の平方根です。1回目は√1で1、4回目は√4で2、9回目は√9で3になります。
更新幅は0.1を分母で割るので、1回目が0.1、4回目が0.05、9回目が約0.033、100回目は0.01です。

結論: 勾配が一定でも、AdaGradの更新幅は回数とともに小さくなります。分母が減らないためです。

例 2

最近の勾配が小さくなったとき（架空の値）

途中まで勾配が大きく、その後は毎回0.1になりました。AdaGradとRMSpropで更新幅はどう違いますか。

AdaGradは、過去の大きな勾配の2乗の和が分母に残り続けるので、更新幅は小さいままです。
減衰係数0.9のRMSpropは、勾配の2乗の移動平均が0.01に近づき、分母の平方根は0.1になります。
学習率0.1なら、更新幅は0.1×0.1÷0.1で0.1に落ち着きます。

結論: RMSpropは最近の勾配の大きさに合わせて更新幅を戻せます。AdaGradは過去の勾配が残るので戻れません。

例 3

RMSpropとAdamの関係を問われる場合

「RMSpropにモメンタムを加えた手法はどれか」と聞かれました。

Adamは2014年に発表され、RMSpropの適応的な考え方にモメンタムを加えた更新です。
Adamは、各パラメータについて勾配の移動平均と勾配の2乗の移動平均の二つを保ちます。

結論: 答えはAdamです。AdaGradではありません。

問題文から答えを選ぶ手順

1
勾配の2乗の扱いを見る
「累積和」「すべて足す」ならAdaGrad、「移動平均」「減衰」ならRMSpropです。
2
学習率の変化を見る
「学習が進むと学習率が下がり続ける」ならAdaGrad、「古い勾配の影響を弱める」ならRMSpropです。
3
年と登場の仕方を見る
2011年ならAdaGrad、2012年で講義で説明されたならRMSpropです。
4
モメンタムの有無を見る
モメンタムも加えた手法ならAdamです。本文で説明した基本形のAdaGradとRMSpropには、モメンタムの項がありません。

試験での見分け方

1AdaGradは、過去の勾配の2乗の累積和の平方根で学習率を割る。
2RMSpropは、勾配の2乗の移動平均の平方根で学習率を割る。
3AdaGradの分母は減らないので、有効な学習率は増えない。
4RMSpropは、減衰係数で古い勾配の影響を徐々に小さくする。
5AdaGradは2011年、RMSpropは2012年、Adamは2014年に登場した。

誤答しやすい選択肢

AdaGradの学習率が上がると考える

修正: 分母は過去の勾配の2乗の和で、減りません。有効な学習率は下がる一方です。

RMSpropとAdamを同じものと考える

修正: AdamはRMSpropにモメンタムを加えた更新で、勾配の移動平均も保ちます。

AdaGradもRMSpropも全パラメータ共通の学習率だと考える

修正: どちらもパラメータごとに学習率を調整する手法です。共通の学習率なのは、通常のSGDです。

確認問題

Q1過去の勾配の2乗を累積して学習率を割る手法は？

答え: AdaGrad

AdaGradは、過去の勾配の2乗の累積和の平方根を分母にします。

Q2勾配の2乗の移動平均を使い、古い勾配の影響を徐々に小さくする手法は？

答え: RMSprop

RMSpropは、減衰係数を使った移動平均で勾配の2乗を貯めます。

Q3RMSpropにモメンタムを加えた手法は？

答え: Adam

Adamは2014年に発表され、RMSpropの考え方にモメンタムを加えた更新です。

到達チェック

AdaGradとRMSpropの貯め方の違いを言える
AdaGradの学習率が下がり続ける理由を言える
Adamとの関係を言える

同じ資格で次に知りたいこと

状態価値関数と行動価値関数の違い｜状態だけの価値か、状態と行動の組の価値か（G検定）
強化学習の状態価値関数 v(s) と行動価値関数 q(s,a) の違いを、定義、引数、Q学習との関係、最適行動の選びやすさで整理。G検定の判断手順と確認問題つき。
SSDとFaster R-CNNの違い｜デフォルトボックスで一段階か、領域提案を使う二段階か（G検定）
SSDとFaster R-CNNの違いを、領域提案ネットワーク（RPN）の有無、デフォルトボックスと複数の特徴マップ、原論文の速度と精度の数値で整理。G検定の物体検出で選択肢を切り分ける判断手順と確認問題つき。
感度と特異度の違い｜陽性を見つける力か、陰性を正しく除く力か（G検定・DS検定）
感度と特異度の違いを、式(TP/(TP+FN)とTN/(TN+FP))・再現率との関係・偽陽性率との関係・均衡正解率で整理。混同行列の数字から計算する例と確認問題つきで、G検定・DS検定の評価指標の問題に備えられる。

よくある質問

QAdaGradとRMSpropの違いは？

AdaGradは過去の勾配の2乗を全部足し続け、RMSpropは移動平均で古い分を薄めながら貯めます。そのためAdaGradの学習率は下がり続けます。

QRMSpropとAdamの違いは？

AdamはRMSpropの考え方にモメンタムを加えた更新で、勾配の移動平均と勾配の2乗の移動平均の二つを保ちます。

QAdaGradはどんなデータに向きますか？

疎なデータで、疎なパラメータほど情報量が大きい設定で、通常のSGDより収束が改善することが多いとされます。

次に見る比較

G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。

シェア:Xでシェア LINEでシェア

執筆: ミナト編集部（運営者情報を見る）