用語比較
過学習と未学習の違い|訓練誤差と検証誤差の組で見分ける(G検定・機械学習)
未学習は、訓練データでも誤差が十分に下がらない状態です。過学習は、訓練データでは誤差が低いのに、新しいデータでは誤差が高い状態です。
G検定では、訓練誤差と検証誤差の数字を見て、どちらの状態かを答える設問に備えられます。訓練誤差が高ければ未学習、訓練と検証の差が大きければ過学習と覚えると、選択肢を整理できます。
このページは、Goodfellowらの教科書『Deep Learning』5.2節をもとに、見る誤差・モデルの容量・対処の向きで比べます。数値の例は、説明用の架空のデータです。
この記事の目次
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
未学習
モデルが訓練集合で十分に低い誤差を得られない状態。訓練誤差が高い。
過学習
訓練誤差とテスト誤差の差が大きすぎる状態。訓練誤差は低い。
見分け方
まず訓練誤差を見る。高ければ未学習。低ければ、検証誤差との差を見る。
違いを表で確認
| 比較軸 | 未学習 | 過学習 |
|---|---|---|
| 訓練誤差 | 未学習:高い | 過学習:低い |
| 訓練誤差とテスト誤差の差 | 未学習:差は小さいことが多い(どちらも高い) | 過学習:差が大きい |
| モデルの容量 | 未学習:容量が低く、訓練集合にあてはめるのに苦労し得る | 過学習:容量が高く、テスト集合では役に立たない訓練集合の性質を記憶し得る |
| 容量を増やすと | 未学習:訓練誤差が下がり、状態が改善する方向 | 過学習:差が広がり、さらに悪化し得る |
| 教科書の図5.3での位置 | 未学習:容量が小さい左端の領域(訓練誤差も汎化誤差も高い) | 過学習:最適な容量より右の領域(差が訓練誤差の減少を上回る) |
G検定の学習に使う書籍(Amazon)
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
訓練誤差が低ければ良いモデルだと考える人
教科書は、訓練誤差を小さくするだけなら最適化の問題で、機械学習は汎化誤差も小さくしたい点が違うと述べています。訓練誤差が低くても、差が大きければ過学習です。
どちらの誤差も高いと聞かれる人
訓練誤差が高い時点で、未学習です。教科書は、未学習は訓練集合で十分に低い誤差を得られないときに起こると述べています。
モデルの容量が何を指すか聞かれる人
教科書は、容量を、さまざまな関数にあてはめる能力と説明しています。容量を変えると、過学習しやすいか未学習しやすいかを制御できます。
汎化誤差の曲線の形を聞かれる人
教科書は、汎化誤差は容量の関数としてU字型の曲線になると述べています。底が最適な容量で、左が未学習、右が過学習の領域です。
具体例で使い分ける
例 1
誤差の組で状態を判定する(架空のデータ)
3つのモデルA・B・Cの訓練誤差と検証誤差が、Aは30%と32%、Bは2%と25%、Cは5%と7%だった。
- Aは、訓練誤差が30%と高く、差は2ポイントです。訓練集合で十分に低い誤差を得られていないので、未学習です。
- Bは、訓練誤差が2%と低いのに、検証誤差が25%で、差は23ポイントです。差が大きいので、過学習です。
- Cは、訓練誤差が5%と低く、差は2ポイントです。どちらの問題も目立たないので、この数字だけなら良好です。
結論: 訓練誤差の高さで未学習、差の大きさで過学習を見ます。何%から高いとするかは課題で決まり、数字そのものに決まった基準はありません。
例 2
容量を増やした結果の読み方(架空のデータ)
モデルを大きくしたら、訓練誤差が20%から3%に下がり、検証誤差が22%から18%、そして21%に変わった。
- 最初は、訓練誤差が20%、検証誤差が22%で、差は2ポイントです。訓練誤差が高く、未学習の領域です。
- 次の段階で、訓練誤差が下がり検証誤差も18%に下がっています。最適な容量に近づいています。
- 最後の段階は、訓練誤差が3%、検証誤差が21%で、差は18ポイントです。検証誤差が再び上がり、過学習の領域に入りました。
結論: 容量を増やすと訓練誤差は下がり続けますが、検証誤差は途中から上がります。教科書の図5.3のU字型と同じ形です。
問題文から答えを選ぶ手順
- 1
訓練誤差を見る
高ければ、まず未学習を疑います。
- 2
差を見る
訓練誤差が低く、検証誤差との差が大きければ過学習です。
- 3
容量の向きを確認する
容量が小さすぎるなら未学習、大きすぎるなら過学習の説明です。
試験での見分け方
- 1訓練誤差が高いのが、未学習。
- 2訓練誤差と検証誤差の差が大きいのが、過学習。
- 3容量が低すぎれば未学習、高すぎれば過学習。
- 4汎化誤差は、容量に対してU字型になる。
誤答しやすい選択肢
検証誤差が高ければ、いつも過学習だと考える
修正: 訓練誤差も高ければ、まず未学習を疑います。過学習は、訓練誤差との差が大きすぎる状態です。
モデルは複雑なほど良いと考える
修正: 教科書は、単純な関数ほど汎化しやすい一方、低い訓練誤差を得るには十分に複雑な仮説が必要だと述べています。どちらかに寄せすぎないことが要点です。
訓練誤差が下がり続ければ、学習は成功だと考える
修正: 容量を増やすと訓練誤差は下がりますが、差が広がると過学習に入ります。検証誤差も見る必要があります。
確認問題
Q1訓練誤差が高く、検証誤差との差が小さいとき、どの状態?
答え: 未学習
訓練集合で十分に低い誤差を得られていない状態です。
Q2訓練誤差が2%、検証誤差が25%のとき、どの状態?
答え: 過学習
差が23ポイントと大きく、訓練データに合わせすぎた状態です。
Q3汎化誤差は、モデルの容量に対してどんな形になる?
答え: U字型
左が未学習、右が過学習の領域です。
到達チェック
- 未学習と過学習の定義を、訓練誤差と差で言える
- 誤差の組から状態を判定できる
- 容量とU字型の曲線の関係を言える
関連ページで確認する
同じ資格で次に知りたいこと
- RNNとLSTMの違い|忘却ゲートで長期の記憶を保つ仕組み(G検定・ディープラーニング)
RNNとLSTMの違いを、勾配消失への強さ・内部の構造・ゲートの役割・パラメータ数で整理。0.9の20乗を使った勾配の減り方の計算例と確認問題つき。G検定の再帰型ニューラルネットワークの設問に使える。
- プルーニングと量子化の違い|接続の数を減らすか、1つあたりのビット数を減らすか(G検定・軽量化)
プルーニングと量子化の違いを、減らすもの・論文の数字(接続9〜13倍減、32ビットから5ビット)・再学習の有無で整理。重みの数とビット数から保存容量を概算する計算例と確認問題つき。G検定のモデルの軽量化の学習に使える。
- 探索と活用の違い|ε-greedy法で両者を両立する仕組み(G検定・強化学習)
強化学習の探索と活用の違いを、選ぶ行動・短期と長期の報酬・ε-greedy法での選択確率で整理。行動が10個でε=0.1のときの選択確率の計算例と確認問題つき。G検定の強化学習の設問に使える。
よくある質問
Q過学習と未学習は、どちらが多い問題?
教科書は、この2つを機械学習の2つの中心課題と呼んでおり、どちらが多いかは述べていません。課題や容量で変わります。
Q未学習を直すには?
教科書は、容量が低いモデルは訓練集合にあてはめるのに苦労し得ると述べています。容量を増やす向きで直します。
Q過学習かどうかは何で確かめる?
教科書は、汎化誤差を、訓練集合とは別に集めたテスト集合での性能で見積もると述べています。訓練誤差との差で判断します。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い(統計検定2級の式と計算例)
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部(運営者情報を見る)
