AI資格ドリル
資格を選ぶ↓

用語比較

RMSpropとAdamの違い｜勾配の2乗の移動平均か、1次のモーメントとバイアス補正も使うか（G検定）

RMSpropとAdamは、どちらもパラメータごとに学習率を調整する最適化手法で、G検定の「学習の仕組み」で並んで出てきます。Adamは名前の由来がadaptive moment estimation（適応的モーメント推定）で、RMSpropと近い関係にあるため取り違えやすくなります。

RMSpropは勾配の2乗の移動平均で学習率を調整し、Adamは勾配の1次と2次のモーメントの移動平均を使い、バイアス補正の項も持つと覚えると、選択肢を切り分けられます。

このページは、Adamの原論文（arXiv、ICLR 2015）の記述をもとに比べます。AdaGradとRMSpropの違い、SGDとAdamの違いは別のページにあります。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。

結論

RMSprop

最近の勾配の大きさの移動平均で学習率を調整する。オンラインや非定常な設定でよく働く。論文ではなくCoursera講義で説明された。

Adam

勾配の1次と2次のモーメントの推定からパラメータごとの学習率を計算する。AdaGradとRMSPropの利点を併せ持つよう設計され、バイアス補正の項をもつ。

見分け方

選択肢に「1次と2次のモーメント」「バイアス補正」があればAdam、「勾配の2乗の移動平均」だけが挙がっていればRMSprop（試験向けの目安で、実装ごとの細部は異なる）。

違いを表で確認

比較軸RMSpropAdam
使う統計量RMSprop：勾配の2乗の移動平均（最近の勾配の大きさ）Adam：勾配の1次と2次のモーメントの移動平均
更新の作り方RMSprop（モメンタム付きの版）：再スケールした勾配にモメンタムをかけて更新を作るAdam：1次と2次のモーメントの移動平均から、更新を直接推定する
バイアス補正RMSprop：バイアス補正の項がないAdam：バイアス補正の項がある
β2が1に近いときの挙動RMSprop：補正しないと、非常に大きなステップになり、しばしば発散すると論文は述べるAdam：論文は、ステップの大きさがステップサイズのハイパーパラメータでおおよそ上から抑えられると述べる
設計の位置づけRMSprop：2012年にCoursera講義で説明された手法Adam：疎な勾配に強いAdaGradと、非定常な設定に強いRMSPropの利点を併せ持つよう設計され、2015年のICLRで発表された

G検定の学習に使う書籍（Amazon）

試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。

PR
深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版 の表紙深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版試験を実施する日本ディープラーニング協会が監修した公式テキストです。Amazonで見る

ほかの資格を含む参考書・問題集の一覧を見る

どこで迷っているかを切り分ける

01

「1次のモーメント」「バイアス補正」という語が出る人

Adamです。勾配の1次と2次のモーメントの移動平均を使い、補正の項をもちます。

02

「勾配の2乗の移動平均で割る」という語が出る人

RMSpropです。ある重みの学習率を、その重みの最近の勾配の大きさの移動平均で割ります。

03

「AdaGradとRMSpropの利点を併せ持つ」という語が出る人

Adamです。論文が設計の目的として挙げています。

具体例で使い分ける

例 1

選択肢に「バイアス補正の項」が出る場合（架空の場面）

「勾配の1次と2次のモーメントの推定を使い、バイアス補正の項を持つ最適化手法はどれか」という問いがあります。

  • 1次と2次のモーメントの推定と、バイアス補正の項を挙げるのはAdamの論文です。
  • RMSpropには、バイアス補正の項がありません。

結論: バイアス補正があるならAdamです。

例 2

選択肢に「勾配の2乗の移動平均で学習率を割る」が出る場合（架空の場面）

「ある重みの学習率を、その重みの最近の勾配の大きさの移動平均で割る手法はどれか」という問いがあります。

  • 最近の勾配の大きさの移動平均で割るのはRMSpropです。
  • Adamはさらに、勾配そのものの1次のモーメントも使います。

結論: 2乗の移動平均で割るだけならRMSpropです。

例 3

「AdaGradの上位互換」と書かれた選択肢が出る場合

「Adamは、AdaGradの欠点を直した手法である」という文の正誤を問う問いがあります。

  • Adamの論文は、AdaGradとRMSPropの利点を併せ持つよう設計したと述べます。
  • また、AdaGradは特定の設定にしたAdamに相当すると述べます。

結論: 「AdaGradとRMSpropの利点を併せ持つ」が論文の言い方です。上位互換と断定する表現は、根拠が示されていません。

問題文から答えを選ぶ手順

  1. 1

    統計量を見る

    「1次と2次のモーメント」ならAdam、「2乗の移動平均」だけならRMSpropです。

  2. 2

    バイアス補正を見る

    補正の項があるのはAdamです。

  3. 3

    設計の位置づけを見る

    「AdaGradとRMSpropの利点を併せ持つ」ならAdamです。

  4. 4

    年を見る

    RMSpropは2012年、Adamの論文は2014年にarXivへ投稿され、2015年のICLRで発表されました。

試験での見分け方

  • 1Adamは、勾配の1次と2次のモーメントの推定から、パラメータごとに個別の適応的な学習率を計算する。
  • 2Adamは、疎な勾配に強いAdaGradと、オンラインや非定常な設定に強いRMSPropの利点を併せ持つよう設計された。
  • 3RMSPropにはバイアス補正の項がなく、β2が1に近い場合に、非常に大きなステップになり発散することがある。

誤答しやすい選択肢

RMSpropとAdamはどちらも1次のモーメントを使うと考える

修正: RMSpropは勾配の2乗の移動平均で調整する手法です。1次と2次のモーメントの移動平均を使うのはAdamです。

RMSpropがAdamより新しいと考える

修正: RMSpropは2012年、Adamは2014年の論文です。Adamの論文は、RMSPropと近い関係にあり、AdaGradとRMSPropの利点を併せ持つよう設計したと述べます。

Adamは必ずRMSpropより良いと考える

修正: 論文が示すのは、バイアス補正の有無などの設計上の違いです。どちらが常に優れるという主張は、論文にはありません。

確認問題

Q1勾配の1次と2次のモーメントの推定から、パラメータごとの適応的な学習率を計算する手法は？

答え: Adam

名前は adaptive moment estimation（適応的モーメント推定）に由来します。

Q2Adamの論文が、RMSPropには無いと述べた項は？

答え: バイアス補正の項

β2が1に近いとき、補正しないと非常に大きなステップになり、しばしば発散すると述べます。

Q3Adamは、AdaGradとRMSPropそれぞれのどんな利点を併せ持つよう設計されましたか？

答え: AdaGradは疎な勾配に強く、RMSPropはオンラインや非定常な設定に強い

それぞれの利点を併せ持つように設計されたと論文は述べます。

到達チェック

  • RMSpropが使う統計量（勾配の2乗の移動平均）を言える
  • Adamが使う統計量（1次と2次のモーメント）を言える
  • バイアス補正の項があるのがAdamだと言える

関連ページで確認する

同じ資格で次に知りたいこと

よくある質問

QRMSpropとAdamの違いは？

A

RMSpropは勾配の2乗の移動平均で学習率を調整します。Adamは勾配の1次と2次のモーメントの移動平均を使い、バイアス補正の項も持ちます。

QAdamの名前の由来は？

A

adaptive moment estimation（適応的モーメント推定）に由来すると論文は述べます。

QAdamの論文はいつ発表されましたか？

A

arXivには2014年に投稿され、2015年のICLR（International Conference on Learning Representations）で発表されました。

次に見る比較

シェア:XでシェアLINEでシェア

執筆: ミナト編集部（運営者情報を見る）