用語比較
勾配消失問題と勾配爆発問題の違い（原因と対策）｜G検定で整理する
勾配消失問題は、誤差逆伝播で勾配が層を戻るうちに小さくなり、学習が進まなくなる問題です。勾配爆発問題は逆に、勾配の値が層を重ねるごとに大きくなり、パラメータの更新幅が発散してしまう問題です。どちらも層が深いほど、あるいは系列が長いほど起こりやすい点は同じで、勾配が小さくなるか大きくなるかが逆と覚えると取り違えません。
G検定の公式シラバスでは、大項目4「ディープラーニングの概要」の学習の仕組みに、勾配消失問題と勾配爆発問題が並んでいます。再帰型ニューラルネットワークの項目にも勾配消失問題が挙がっています。
このページは、2つの用語が「勾配の問題」とだけ頭に入っていて、どちらがどちらか、どの対策がどちらに効くのかを選択肢で問われると迷う人を対象にしています。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
勾配消失問題
勾配が小さくなりすぎ、手前の層の重みが更新されにくくなって学習が進まない。ReLUなどの活性化関数、スキップ結合、LSTM・GRUが対策になる。
勾配爆発問題
勾配が大きくなりすぎ、更新幅が発散する。層が深いネットワークや再帰型ネットワークで起こりやすい。勾配のノルムを上限で抑える勾配クリッピングが代表的な対処。
共通点
どちらも、誤差逆伝播で勾配を層ごとに掛け合わせていく過程で起こり、学習が安定しなくなる。
違いを表で確認
| 比較軸 | 勾配消失問題 | 勾配爆発問題 | 確認できる根拠 |
|---|---|---|---|
| 勾配の現れ方 | 層を戻るにつれて小さくなり、学習が進まなくなるG検定の「勾配の現れ方」 | 層を重ねるごとに大きくなり、パラメータの更新幅が発散する統計検定2級の「勾配の現れ方」 | G検定の用語集の定義。爆発は消失とは逆方向の不安定さと整理されているDS検定の「勾配の現れ方」 |
| 起こりやすい場面 | 層が深いネットワーク。シグモイド関数のように入力の絶対値が大きい領域で勾配がほぼ0になる活性化関数でも出やすいG検定の「起こりやすい場面」 | 層が深いネットワークや再帰型ネットワーク統計検定2級の「起こりやすい場面」 | シグモイド関数はKeras公式ドキュメントで、入力が-5より小さいと出力が0に近く、5より大きいと1に近いと説明されているDS検定の「起こりやすい場面」 |
| 代表的な対策 | ReLUなどの活性化関数、スキップ結合（残差接続）、LSTM・GRU | 勾配のノルムを抑える勾配クリッピング（gradient norm clipping） | Pascanuらの論文は、勾配爆発に勾配ノルムクリッピング、勾配消失にソフトな制約を提案している（arXiv:1211.5063） |
| 再帰型ネットワークとの関係 | BPTTで時間方向に誤差を伝えるとき、長期の情報が学習しにくくなる。LSTMやGRUが提案されたG検定の「再帰型ネットワークとの関係」 | 再帰型ネットワークでも起こりうる問題として、消失と並べて語られる統計検定2級の「再帰型ネットワークとの関係」 | 同論文は、RNNの学習に関する広く知られた2つの問題として、勾配消失と勾配爆発を挙げているDS検定の「再帰型ネットワークとの関係」 |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
「勾配が大きくなる」と「小さくなる」を逆に覚えている受験者
消失は「消える」ほど小さくなる、爆発は「発散する」ほど大きくなる、と名前の字面と現れ方を結びつけます。用語集でも、爆発は消失とは逆方向の不安定さとして説明されています。
対策を1つの用語にまとめて覚えている受験者
ReLU、スキップ結合、LSTM・GRUは勾配消失を緩和する手段として用語集に出てきます。勾配クリッピングは勾配爆発に対する手段として論文で提案されたものです。どの問題に効く手段かを組にして覚えます。
問題文から答えを選ぶ手順
- 1
勾配の大きさがどうなるか読む
「小さくなる」「ほぼ0になる」「学習が進まない」なら消失、「大きくなる」「発散する」なら爆発です。
- 2
起こる場面を読む
シグモイド関数の飽和や層の深さが理由なら消失の文脈、再帰型ネットワークで更新幅が極端に大きくなる話なら爆発の文脈を疑います。
- 3
対策を問題と組にする
ReLU、スキップ結合、LSTM・GRUは勾配消失の対策、勾配クリッピングは勾配爆発の対策として、組にして確認します。
試験での見分け方
- 1勾配消失問題は、層が深いと逆伝播で勾配が小さくなり、学習が進まなくなる問題。
- 2勾配爆発問題は、勾配の値が層を重ねるごとに大きくなり、更新幅が発散してしまう問題。
- 3ReLUは勾配消失を抑える活性化関数として使われ、スキップ結合は勾配消失を緩和する。
- 4勾配クリッピングは、勾配爆発に対処するために勾配のノルムを抑える方法。
誤答しやすい選択肢
勾配爆発問題を、勾配が0に近づく問題と取り違える
修正: 勾配が0に近づくのは勾配消失、値が大きくなって更新幅が発散するのが勾配爆発です。
勾配消失問題を、学習率が大きすぎる問題と同じに扱う
修正: 勾配消失は逆伝播で勾配が小さくなる現象です。学習率はパラメータの更新幅を決める別の設定値です。
ReLUを勾配爆発の対策として覚える
修正: 用語集の定義では、ReLUは勾配消失を抑える活性化関数です。勾配爆発の対処として論文が提案したのは勾配ノルムクリッピングです。
確認問題
Q1層が深いネットワークで、逆伝播のたびに勾配が小さくなり学習が進まなくなる問題は？
答え: 勾配消失問題
勾配が小さくなる向きの問題です。ReLUやスキップ結合で和らげられます。
Q2勾配の値が層を重ねるごとに大きくなり、パラメータの更新幅が発散する問題は？
答え: 勾配爆発問題
勾配消失とは逆方向の不安定さです。勾配のノルムを抑える勾配クリッピングが代表的な対処です。
Q3LSTMやGRUが提案された背景として、RNNのどの課題が挙げられるか。
答え: 長期的な特徴の学習が苦手という課題
RNNは系列データを学習できる一方、長期的な特徴の学習が苦手で、これを補うためLSTMやGRUが提案されました。
到達チェック
- 勾配消失と勾配爆発を、勾配が小さくなるか大きくなるかで言い分けられる
- ReLUとスキップ結合が勾配消失の緩和として出てくると説明できる
- 勾配クリッピングが勾配爆発への対処だと説明できる
関連ページで確認する
同じ資格で次に知りたいこと
- 回帰と分類の違い（予測するものが数か区分か）｜G検定で整理する
G検定で出る回帰と分類の違いを、予測するものが連続値かカテゴリか、評価に使う指標（平均二乗誤差と正解率など）、同じ手法が両方に使える例、確認問題つきで整理します。scikit-learn公式ドキュメントの記述にもとづきます。
- 誤差逆伝播法と順伝播の違い｜G検定で整理する
G検定の誤差逆伝播法を、予測を出す順伝播との役割の違い、連鎖律で各層の勾配を求める仕組み、勾配降下法との関係、勾配消失問題とのつながりで整理します。確認問題つき。
- 仮名加工情報と匿名加工情報の違い
仮名加工情報と匿名加工情報の違いを、個人情報保護法の定義、復元できるかどうか、第三者提供の可否、G検定での判断手順と確認問題まで解説します。
よくある質問
Q勾配消失問題とは？
層が深いと逆伝播で勾配が小さくなり、学習が進まなくなる問題です。ReLUなどの活性化関数やスキップ結合で和らげられます。
Q勾配爆発問題とは？
誤差逆伝播で勾配の値が層を重ねるごとに大きくなり、パラメータの更新幅が発散してしまう問題です。層が深いネットワークや再帰型ネットワークで起こりやすいとされます。
Q勾配爆発への対処は？
Pascanuらの論文は、勾配爆発に対して勾配ノルムクリッピングを提案しています。
QどちらもG検定の範囲？
公式シラバスの大項目4「ディープラーニングの概要」の学習の仕組みに、勾配消失問題と勾配爆発問題の両方が挙がっています。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）