G検定 用語解説
勾配消失問題とは
層が深いと逆伝播で勾配が小さくなり学習が進まなくなる問題。ReLUなどで緩和する。
まず押さえる結論
勾配消失問題は、G検定の「大項目4 ディープラーニングの概要」で確認しておきたい用語です。 定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
- 勾配消失問題と勾配爆発の混同、およびReLUなど活性化関数による緩和の役割。
- 局所最適解・大域最適解・鞍点の区別（鞍点はある方向に極小・別方向に極大）。
- 誤差逆伝播法（バックプロパゲーション）と勾配降下法の役割の取り違え。
関連する確認問題
大項目4 ディープラーニングの概要 / 学習の仕組み
ネットワークの層を深くしたとき、シグモイド関数などの微分値が1未満で小さいために、入力層に近い層ほど重みの更新がほとんど進まなくなる現象はどれか。
正解は勾配消失問題。シグモイド関数などは微分値が小さく、層が深いと入力層側へ伝わる更新量が次第に小さくなり学習が進まない。信用割当問題はどのユニットが結果に寄与したかを割り当てる別の問題。過学習は訓練データに適合しすぎる現象（大項目3）。次元削減はデータの特徴量を減らす手法（大項目3）で、いずれも更新量が伝わらない現象ではない。
大項目4 ディープラーニングの概要 / 活性化関数と過学習対策
入力値が0以下のとき0を、0より大きいときはその値をそのまま出力する単純な形で、勾配消失問題を起こしにくくした活性化関数はどれか。
正解はReLU関数。入力が0以下なら0、正ならそのまま出力し、正の領域で微分が一定なので勾配消失を起こしにくい。シグモイド関数・tanh関数は飽和域で微分が小さくなり勾配消失を招きやすい。ソフトマックス関数は出力層で確率分布を作る関数で、隠れ層の活性化として使うものではない。
同じ章で確認したい用語
到達チェック
- 勾配消失問題を一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、勾配消失問題に関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる