大域最適解とは

大項目4 ディープラーニングの概要 / 学習の仕組み

高次元のパラメータ空間で、ある方向では極小・別の方向では極大となって勾配がほぼゼロになり、学習の停滞を招きやすい地点を指す語はどれか。

正解は鞍点。ある方向では極小、別の方向では極大になっていて勾配がほぼゼロになるため、そこで更新が進まず学習が停滞しやすい。局所最適解は周囲より低いが全体では最小とは限らない解、大域最適解は全体で誤差が最小になる解、勾配爆発は勾配が急激に大きくなって学習が不安定になる現象で、いずれも鞍点とは指すものが異なる。 最適化上の地点か、勾配の異常かを区別する。勾配爆発は勾配が大きくなる現象、局所・大域最適解は誤差の小ささで定まる解であり、方向ごとに曲面の性質が異なって停滞しやすい地点は鞍点である。