用語比較
SGDとAdamの違い
SGDとAdamは、どちらもニューラルネットワークの重みを勾配に沿って更新する最適化手法です。ただし、SGDは勾配に学習率を掛けて引く単純な更新式、Adamは1次と2次のモーメント(勾配の平均的な向きと、勾配の大きさの目安)を学習の途中で推定し続ける手法で、更新の仕組みが違います。
G検定のシラバスには、モーメンタムやAdamなどの最適化手法が含まれます。学習率と勾配だけで更新する基本形がSGD、モーメンタムは更新に過去の方向の勢いを加える拡張、1次・2次のモーメントの適応的な推定に基づくのがAdam、と分けると、説明文のキーワードで判定できます。
このページでは、更新式、モーメンタムの位置付け、モーメントの推定という三つの軸で比較します。簡単な数値を代入して更新式を確かめる方法と、取り違えやすい選択肢の除外手順まで、試験で使える形に整理します。
この記事の目次
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
- 公式一次資料と照合した内容
- SGDの更新式とmomentum引数、Adamの位置付けと特徴は、Keras公式ドキュメントを2026-10-11に、Adamの原論文(arXiv:1412.6980)の抄録を2026-10-08に照合しています。
- 編集部が学習用に整理した内容
- 更新式の材料、適応的という語、特徴の記述という順に選択肢を判定する手順と、計算例の数値は編集部の学習上の整理です。
資格ごとの公式資料の一覧
結論
公式一次資料と照合:用語の定義は公式一次資料と照合しています。
SGD
勾配降下法の基本形。momentumが0のときの更新式は w = w - learning_rate * g で、学習率と勾配だけで重みを更新する。
Adam
1次と2次のモーメントの適応的な推定に基づく確率的勾配降下法。計算効率が良く、メモリ要件が小さく、大きな問題に向く。
違いを表で確認
| 比較軸 | SGD | Adam |
|---|---|---|
| 基本の考え方 | 学習率に勾配を掛けて重みから引く | 1次・2次のモーメントを適応的に推定して使う |
| 更新式(公式ドキュメントの表記) | momentumが0なら w = w - learning_rate * g | 1次・2次のモーメントの推定値を使う(本ページでは式を扱わない) |
| モーメンタムとの関係 | momentumを0より大きくすると、velocityを使った更新式になる | 1次・2次のモーメントの推定を用いる手法として説明される |
| 公式ドキュメントが挙げる特徴 | momentumは、関連する方向への勾配降下を加速し振動を抑える | 計算効率が良く、メモリ要件が小さく、勾配の対角方向の拡大縮小に不変 |
| 向く問題 | 公式ドキュメントは、momentumが0なら過去の勢いを使わない基本の勾配降下法になると説明する | データやパラメータが大きい問題 |
| 選択肢で探すキーワード | 学習率、勾配、ミニバッチ、モーメンタム | 適応的、1次モーメント、2次モーメント |
公式一次資料と照合:G検定: 2026-10-02に一次資料で確認一次資料の一覧を見る →
G検定の学習に使う書籍(Amazon)
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
最適化手法を名前の順番だけで覚えている人
SGD、モーメンタム、AdaGrad、RMSprop、Adamと名前だけを並べて覚えると、説明文との対応が曖昧になります。まず、学習率と勾配だけの基本形をSGD、そこへ過去の方向の勢いを足したものをモーメンタム、1次・2次のモーメントの推定を使うものをAdamと、三段で区別します。
モーメンタムとAdamの『モーメント』を同じものと思う人
モーメンタムは、更新にvelocityという過去の方向の勢いを加える仕組みで、SGDの拡張として使います。Adamは、1次・2次のモーメントの適応的な推定に基づく手法として説明されます。名前が似ているので、設問では説明文の語で区別し、『適応的に推定』とあればAdamの側を疑います。
Adamが常に最良だと考える人
公式ドキュメントが挙げるAdamの特徴は、計算効率、メモリ要件、勾配の拡大縮小への不変性、大きな問題への適性の4点です。設問では、この4点の記述が選択肢と一致するかで判定し、万能という言い回しに引きずられないようにします。
具体例で使い分ける
編集部の整理
例 1
SGDの更新を1回計算する場合
重みw=1.0、勾配g=0.5、学習率0.1、momentumは0です。
- momentumが0のSGDの更新式は w = w - learning_rate * g です。
- 0.1 × 0.5 = 0.05 なので、新しい重みは 1.0 - 0.05 = 0.95 になります。
- 学習率と勾配だけで決まり、過去の更新の情報は使いません。
結論: 学習率と勾配だけで重みが決まる更新は、素のSGDです。
例 2
momentumを加えた更新を1回計算する場合
重みwが1.0、勾配gが0.5、学習率が0.1、momentum(過去の勢いをどれだけ残すかの係数)が0.9、直前のvelocity(過去の方向の勢いを表す値)が0.1の場合です。
- 更新式は velocity = momentum * velocity - learning_rate * g です。
- velocity = 0.9 × 0.1 - 0.1 × 0.5 = 0.09 - 0.05 = 0.04 です。
- 続いて w = w + velocity なので、新しい重みは 1.0 + 0.04 = 1.04 になります。
結論: 更新に直前のvelocity(過去の方向の勢い)が入るなら、モーメンタム付きのSGDです。Adamではありません。
例 3
説明文に『1次・2次のモーメントの適応的な推定』とある場合
ある最適化手法を、確率的勾配降下法の一種で、1次と2次のモーメントの適応的な推定に基づくと説明しています。
- 1次と2次のモーメントの適応的な推定は、Adamの説明です。
- 計算効率が良く、メモリ要件が小さいという特徴も、Adamの説明と一致します。
- 学習率と勾配だけで更新する説明ではないため、素のSGDではありません。
結論: 適応的に1次・2次のモーメントを推定するという記述なら、Adamを選びます。
問題文から答えを選ぶ手順
編集部の整理:更新式の材料、適応的という語、特徴の記述という順に選択肢を判定する手順と、計算例の数値は編集部の学習上の整理です。
- 1
更新式の材料を確認する
学習率と勾配だけならSGD、そこへvelocityが加わるならモーメンタム付きSGDです。
- 2
『適応的』『モーメントの推定』の語を探す
1次・2次のモーメントを適応的に推定するという記述があればAdamです。
- 3
特徴の記述を照合する
計算効率が良い、メモリ要件が小さい、勾配の拡大縮小に不変、大きな問題に向くという記述はAdamの特徴です。
- 4
更新式で迷ったら小さな数で1回計算する
重みw、勾配g、学習率に簡単な数値を入れ、更新式どおりに1回計算します。式に直前のvelocityが出てくるなら、モーメンタム付きです。
試験での見分け方
編集部の整理
- 1momentumが0のSGDの更新式は w = w - learning_rate * g。
- 2momentumを0より大きくすると、velocityを使う更新式になる。
- 3momentumは、関連する方向への勾配降下を加速し、振動を抑える。
- 41次・2次のモーメントの適応的な推定に基づくのはAdam。
- 5計算効率が良く、メモリ要件が小さいのはAdamの特徴。
- 61次・2次のモーメントを適応的に推定するという説明はAdam。
誤答しやすい選択肢
AdamはSGDとは別系統で、確率的勾配降下法ではないと思う
修正: 公式ドキュメントは、Adamを1次・2次のモーメントの適応的な推定に基づく確率的勾配降下法の一つと説明しています。確率的勾配降下法の一つとして整理します。
モーメンタムとAdamを同じ仕組みと考える
修正: モーメンタムはSGDのmomentum引数で、velocityを通じて過去の方向の勢いを加える仕組みです。Adamは1次・2次のモーメントの適応的な推定に基づく手法として説明されます。設問では説明文の語で区別します。
SGDの更新式に過去の更新が入ると思う
修正: momentumが0のSGDは w = w - learning_rate * g で、今の勾配と学習率だけで決まります。過去の更新を使うのは、momentumを0より大きくしたときです。
Adamが常にSGDより優れると決める
修正: 公式ドキュメントが挙げる特徴は、計算効率、メモリ要件、拡大縮小への不変性、大きな問題への適性の4点です。常に優れるかどうかは設問の記述で判定します。
確認問題
Q1momentumが0のとき、重みw=2.0、勾配g=1.0、学習率0.1でSGDの更新を1回行うと、新しい重みはいくつですか?
答え: 1.9
w = w - learning_rate * g なので、2.0 - 0.1 × 1.0 = 1.9 です。
Q21次と2次のモーメントの適応的な推定に基づく確率的勾配降下法はどちらですか?
答え: Adam
公式ドキュメントはAdamを、1次・2次のモーメントの適応的な推定に基づく確率的勾配降下法と説明しています。
Q3関連する方向への勾配降下を加速し、振動を抑える引数は何ですか?
答え: momentum(モーメンタム)
SGDのmomentum引数は、同じ向きへの勾配降下を加速し、振動を抑えます。0なら過去の勢いを使わない基本の勾配降下法です。
到達チェック
- momentumが0のSGDの更新式を書ける
- 簡単な数値でSGDの更新を1回計算できる
- モーメンタムのvelocityの役割を説明できる
- Adamの特徴を3つ以上挙げられる
- モーメンタムとAdamのモーメントを区別できる
関連ページで確認する
同じ資格で次に知りたいこと
- L1正則化とL2正則化の違い
L1正則化(ラッソ回帰)とL2正則化(リッジ回帰)の違いを、罰則の形、係数が0になるかどうか、特徴選択への使い方、G検定での判断手順と確認問題まで解説します。
- エポック・バッチサイズ・イテレーションの違い(ミニバッチ学習の用語整理)
エポック、バッチサイズ、イテレーションの違いを、ミニバッチ学習での1回の更新・データ全体を1周する単位との関係、Keras公式ドキュメントの記述、更新回数の計算例とG検定での判断手順まで整理します。
- ROC曲線とPR曲線の違い
ROC曲線とPR曲線(適合率・再現率曲線)の違いを、軸、しきい値の動かし方、クラスが不均衡なときの使い分け、G検定での判断手順と確認問題まで解説します。
よくある質問
QSGDとAdamは、どちらも勾配を使う最適化手法ですか?
はい。どちらも勾配に基づいて重みを更新します。違いは、更新に使う情報と仕組みです。
QAdamもSGDの一種ですか?
Kerasの公式ドキュメントは、Adamを1次・2次のモーメントの適応的な推定に基づく確率的勾配降下法と説明しています。
QSGDのmomentumは何をしますか?
同じ向きへの勾配降下を加速し、振動を抑えます。0にすると過去の勢いを使わない基本の勾配降下法になります。
Q試験中に二つを最短で見分ける方法は?
学習率と勾配だけで更新する説明ならSGD、1次・2次のモーメントの適応的な推定という語があればAdamと判定します。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い(統計検定2級の式と計算例)
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部(運営者情報を見る)
