正則化とは

大項目4 ディープラーニングの概要 / 学習の仕組み

ニューラルネットワークの学習で、モデルの予測と正解との誤差の大きさを数値化し、その値が小さくなるように重みを更新する際の基準となる関数はどれか。

正解は損失関数。モデルの予測と正解のずれを1つの数値で表し、学習ではこの値を最小化するように誤差逆伝播法と勾配降下法で重みを調整する。活性化関数は各ニューロンの出力を非線形に変換する関数、学習率は1回の更新で重みをどれだけ動かすかを決める値、正則化は過学習を抑えるために損失に罰則を加える工夫で、いずれも誤差そのものを測る損失関数とは役割が異なる。 学習の各要素は、測る値・変換・更新幅・罰則に分けて整理する。活性化関数は出力変換、学習率は更新幅、正則化は過学習を抑える工夫であり、予測誤差そのものを数値化する損失関数が設問の基準となる。