ハイパーパラメータとは

まず押さえる結論

ハイパーパラメータは、G検定の「大項目4 ディープラーニングの概要」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。

具体例から判断の境界を固める

誤差逆伝播法で自動的に更新される重み（パラメータ）とは異なり、訓練前に人が設定する値として捉える

学習率やエポック数のように、モデルを訓練する前に人があらかじめ決めておく値がハイパーパラメータです。ニューロン間の結合の強さを表す重みが誤差逆伝播法によって学習中に自動更新されるのとは異なり、ハイパーパラメータは学習の過程で自動的には決まりません。どの値が最適かは、候補の組み合わせを総当たりで試すグリッドサーチや、候補の範囲から無作為に選んで試すランダムサーチのような探索で決めることが多くなります。

問題文で見る箇所

「訓練前に人が設定する」「学習によって自動的には決まらない」という記述があればハイパーパラメータを候補にします。誤差逆伝播法によって学習中に自動更新される値の説明であれば、ハイパーパラメータではなく重み（パラメータ）を候補にします。

隣接概念との境界

重み（パラメータ）は誤差逆伝播法によって学習中に自動的に更新される値で、ハイパーパラメータは学習を始める前に人が設定する値という点で区別します。またグリッドサーチ・ランダムサーチはハイパーパラメータの値そのものではなく、その値を探すための探索手法です。

誤答しやすい選択肢

• ×誤差逆伝播法によって学習中に自動更新される値をハイパーパラメータと呼ぶ。これは重み（パラメータ）の説明であり、ハイパーパラメータは学習前に人が設定する値です。
• ×グリッドサーチやランダムサーチという探索手法そのものをハイパーパラメータと呼ぶ。これらはハイパーパラメータの候補を探すための手法であり、ハイパーパラメータという値そのものではありません。
• ×データを訓練用と評価用に分けて汎化性能を見積もるホールドアウト法やk分割交差検証を、ハイパーパラメータの探索手法として扱う。これらはモデルを評価する手続きであり、ハイパーパラメータの組み合わせを探す手法ではありません。

4段階の判断手順

1. 01設問が学習前に人が設定する値の話か、学習中に自動更新される値の話かを先に分ける。
2. 02学習率・エポック数のように人があらかじめ決める値であれば、ハイパーパラメータを候補にする。
3. 03グリッドサーチ・ランダムサーチのような探索手法と、探索対象であるハイパーパラメータそのものを区別する。
4. 04ホールドアウト法やk分割交差検証のような評価手続きを、ハイパーパラメータの探索手法と混同していないか見直す。

到達条件: ハイパーパラメータを学習前に人が設定する値として説明し、自動更新される重み、探索手法、評価手続きとの違いを言える。

試験での問われ方

誤答しやすいポイント

関連する確認問題

同じ章で確認したい用語