用語比較
交差エントロピーと平均二乗誤差の違い｜分類と回帰で損失関数を使い分ける（G検定）
平均二乗誤差は、予測と正解の差を2乗して平均する損失関数で、回帰でよく使います。交差エントロピーは、正解の確率分布とモデルが出す確率分布のずれを測る損失関数で、分類でよく使います。
G検定では、分類の学習になぜ平均二乗誤差でなく交差エントロピーを使うのかが問われる場面で、理由を取り違えやすくなります。確率を出す分類は交差エントロピー、数値を予測する回帰は平均二乗誤差と覚えると、選択肢を整理できます。
このページは、教科書『Deep Learning』6.2節をもとに、使う場面・勾配の大きさ・予測する統計量の3点で比べます。数値の例は、説明用の架空のデータです。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
平均二乗誤差
予測と正解の差の2乗の平均。教科書は、各入力についてyの平均を予測する関数が得られると述べる。
交差エントロピー
データ分布とモデル分布の間の交差エントロピー。教科書は、ほとんどの場合これを使うと述べる。
見分け方
確率を出して分類するなら交差エントロピー、数値そのものを予測するなら平均二乗誤差が基本。
違いを表で確認
| 比較軸 | 平均二乗誤差 | 交差エントロピー |
|---|---|---|
| 主な使い場面 | 平均二乗誤差：数値を予測する回帰 | 交差エントロピー：確率を出す分類 |
| 最小化で得られるもの | 平均二乗誤差：各入力について、yの平均を予測する関数 | 交差エントロピー：データ分布にモデル分布を近づける(負の対数尤度の最小化と同じ形) |
| 勾配の大きさ | 平均二乗誤差：飽和する出力ユニットと組み合わせると、非常に小さな勾配になる | 交差エントロピー：負の対数が出力ユニットの指数関数を打ち消し、飽和の問題を避けやすい |
| 人気の理由 | 平均二乗誤差：ガウス分布を仮定した最尤推定と等価 | 交差エントロピー：教科書は、勾配の小さい問題を避けられることを、人気の理由の1つに挙げる |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
分類なのに平均二乗誤差を使わない理由を聞かれる人
教科書は、平均二乗誤差は勾配に基づく最適化で悪い結果になることが多く、飽和する出力ユニットと組むと勾配が非常に小さくなると述べています。これが、交差エントロピーが人気な理由の1つです。
住宅価格のような数値の予測の損失を聞かれる人
数値を予測する回帰では、平均二乗誤差が基本です。教科書は、平均二乗誤差を最小化すると、各入力についてyの平均が得られると述べています。
平均絶対誤差との違いで迷う人
教科書は、平均絶対誤差を最小化すると、各入力についてyの中央値が得られると述べています。平均なら平均二乗誤差、中央値なら平均絶対誤差です。
「最尤推定」との関係を聞かれる人
教科書は、モデルの出力をガウス分布と置いた最尤推定が、平均二乗誤差の最小化と等価になると述べています。交差エントロピーは、負の対数尤度と同じ考え方の損失です。
具体例で使い分ける
例 1
損失の大きさの比較(架空のデータ)
正解ラベルがy＝1の1件で、シグモイド出力pが0.9の場合と、0.1の場合を比べる。
- p＝0.9のとき、交差エントロピーは−ln0.9≒0.1054、二乗誤差は(1−0.9)²＝0.01です。
- p＝0.1のとき、交差エントロピーは−ln0.1≒2.3026、二乗誤差は(1−0.1)²＝0.81です。
結論: どちらも、外れるほど損失が大きくなります。違いは、損失の大きさでなく、学習に使う勾配に出ます。
例 2
シグモイド出力での勾配の比較(架空のデータ)
正解ラベルがy＝1で、シグモイド出力pが、0.1と0.01の場合に、出力層の入力zに対する勾配を比べる。シグモイドの微分はp(1−p)です。
- 交差エントロピーの勾配は、p−yです。p＝0.1なら−0.9、p＝0.01なら−0.99です。
- 1/2倍の二乗誤差の勾配は、(p−y)×p(1−p)です。p＝0.1なら−0.9×0.1×0.9＝−0.081、p＝0.01なら−0.99×0.01×0.99≒−0.0098です。
結論: 大きく外れているほど、交差エントロピーの勾配は大きいままですが、二乗誤差の勾配は小さくなり、学習が進みにくくなります。教科書が飽和による小さな勾配を問題にしているのは、この現象です。
問題文から答えを選ぶ手順
- 1
予測するものを読む
数値そのものを予測するなら回帰、確率を出してクラスを選ぶなら分類です。
- 2
損失の候補を決める
回帰なら平均二乗誤差(平均を予測)か平均絶対誤差(中央値を予測)、分類なら交差エントロピーです。
- 3
理由の語を読む
「勾配が小さくなる」「飽和」が理由に出ていれば、平均二乗誤差でなく交差エントロピーを選ぶ文脈です。
試験での見分け方
- 1確率を出す分類は、交差エントロピー。
- 2数値を予測する回帰は、平均二乗誤差。
- 3分類で交差エントロピーが選ばれる理由の1つは、飽和による小さな勾配を避けやすいこと。
- 4平均二乗誤差はyの平均、平均絶対誤差はyの中央値を予測する。
誤答しやすい選択肢
平均二乗誤差は、分類には使えないと考える
修正: 使えないのではありません。教科書は、勾配に基づく最適化で悪い結果になることが多いと述べています。
交差エントロピーは、平均二乗誤差より損失の値がいつも小さいと考える
修正: 損失の値の大小でなく、勾配の振る舞いの違いが論点です。上の例のとおり、p＝0.1では交差エントロピーのほうが損失の値は大きくなります。
平均二乗誤差の最小化は、中央値を予測すると考える
修正: 教科書は、平均二乗誤差の最小化はyの平均、平均絶対誤差の最小化はyの中央値を予測すると述べています。
確認問題
Q1確率を出す分類で、よく使われる損失関数は？
答え: 交差エントロピー
教科書は、ほとんどの場合、データ分布とモデル分布の間の交差エントロピーを使うと述べています。
Q2平均二乗誤差を最小化すると、各入力についてyの何を予測する関数が得られる？
答え: 平均
中央値を予測するのは、平均絶対誤差です。
Q3正解がy＝1、シグモイド出力がp＝0.1のとき、出力層の入力に対する交差エントロピーの勾配は？
答え: −0.9
勾配はp−yなので、0.1−1＝−0.9です。
到達チェック
- 分類は交差エントロピー、回帰は平均二乗誤差と言える
- 平均二乗誤差はyの平均を予測すると言える
- 交差エントロピーが好まれる理由に勾配の問題があると言える
関連ページで確認する
同じ資格で次に知りたいこと
- オンポリシーとオフポリシーの違い｜学ぶ方策と行動する方策が同じかで見分ける（G検定）
強化学習のオンポリシーとオフポリシーの違いを、対象方策と行動方策が同じか別かで整理。被覆の仮定、重要度の比の計算例、SarsaとQ学習の1回の更新の比較、確認問題つき。G検定の強化学習の設問に使える。
- Xavier初期化とHe初期化の違い｜ReLUを使うときの重みの初期値の選び方（G検定）
Xavier初期化とHe初期化の違いを、導出の前提(線形かReLUか)・式(一様分布かガウス分布か)・向く活性化関数で整理。256入力・128出力の層での計算例と確認問題つき。G検定の重みの初期化の設問に使える。
- モデルベースとモデルフリーの強化学習の違い｜環境のモデルを使うかで見分ける（G検定）
モデルベース強化学習とモデルフリー強化学習の違いを、環境のモデルの有無・計画の使い方・試行錯誤との関係で整理。1手先読みの価値計算、Q学習の1回の更新の計算例、確認問題つき。G検定の強化学習の設問に使える。
よくある質問
Q交差エントロピーと負の対数尤度は同じ？
教科書は、データ分布とモデル分布の間の交差エントロピーを使うと述べ、モデルの確率分布を決めると、コスト関数が負の対数尤度として自動的に決まると説明しています。
Q回帰で交差エントロピーは使える？
使えます。モデルの出力の分布を置けば、その負の対数尤度として損失が決まり、ガウス分布を置くと平均二乗誤差になります。教科書は、y|xの分布全体を推定する必要がない場合でも、交差エントロピーが平均二乗誤差より人気だと述べています。
Q平均二乗誤差は、いつも悪い損失か？
いいえ。教科書は、出力をガウス分布と置いた最尤推定が、平均二乗誤差の最小化と等価になると述べています。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）