ハイパーパラメータとは

大項目4 ディープラーニングの概要 / 学習の仕組み

勾配降下法で、重みを一度にどの程度動かすかを決めるハイパーパラメータはどれか。

正解は「学習率」である。学習率は勾配降下法で重みを更新する際に、勾配の方向へ一度にどの程度動かすかを決めるハイパーパラメータであり、値が大きすぎると更新が振れて発散し、小さすぎると学習の進みが遅く収束までの反復回数が増えてしまう。エポックは学習データ全体を何回使って学習したかを表す反復回数の単位、バッチサイズは1回の重み更新に使うデータの件数、損失関数はモデルの予測と正解のずれの大きさを数値化する関数であり、いずれも重みを動かす量そのものを決めるハイパーパラメータではない。