AdaGradとは

大項目4 ディープラーニングの概要 / 学習の仕組み

勾配の移動平均による慣性の効果と、パラメータごとに学習率を適応的に調整する仕組みの両方を兼ね備えた、ディープラーニングで広く用いられる最適化アルゴリズムはどれか。

正解は「Adam」である。Adamは勾配の移動平均による慣性（モメンタム）の効果と、パラメータごとに学習率を適応的に調整する仕組みの両方を併せ持ち、ディープラーニングで広く用いられる最適化アルゴリズムである。モメンタムは慣性のみ、AdaGradとRMSPropはパラメータごとの学習率調整のみを持ち、いずれか一方の性質しか備えないため、両方を同時に備えるという設問の条件には当てはまらない。設問は2つの仕組みを同時に満たす手法を問うており、これに該当するのはAdamだけである。