用語比較
誤差(誤差項)と残差の違い|回帰分析で観測できるのはどちらか(統計検定2級)
誤差は真のモデルからのずれで観測できず、残差は当てはめた回帰直線からのずれで、データから計算できます。誤差の値は分からないので、残差を使って誤差の大きさ(分散)を推定します。
統計検定2級では、回帰直線を求めたあとに計算できるのは残差という区別と、残差の合計が0になる性質が問われます。誤差項の仮定(平均0・分散が一定)と残差の性質を混ぜないことが要点です。
このページは、回帰分析の本で「誤差」と「残差」の2つの言葉が出てきて、同じものか違うものか迷う人を対象にしています。5点のデータで回帰直線を求め、残差を実際に計算して確かめます。
この記事の目次
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。統計検定2級の一次情報確認日: 2026-10-09。
結論
誤差(誤差項)
モデルy=β0+β1x+εのε。真の回帰直線からのずれで、母集団側の量。真の係数が分からないので値は観測できない。
残差
観測値yから当てはめた値(予測値)ŷを引いた値e=y−ŷ。標本の回帰直線からのずれで、データから計算できる。
2つの関係
残差は誤差を推定する材料。誤差分散σ²は、残差平方和を自由度n−2で割った値で推定する(単回帰の場合)。
違いを表で確認
| 比較軸 | 誤差(誤差項) | 残差 |
|---|---|---|
| 何からのずれか | 真の回帰直線(母集団のモデル)からのずれ | 当てはめた回帰直線(標本から推定した直線)からのずれ |
| 記号 | ε(イプシロン) | e(またはε̂) |
| 観測できるか | できない。真の係数が未知のため値が分からない | できる。観測値と予測値の差として計算できる |
| 合計 | 合計が0になるとは限らない | 切片を含むモデルでは合計が必ず0になる |
| 役割 | モデルの仮定(平均0・分散が一定など)を置く対象 | 仮定の妥当性を確かめる・誤差分散を推定する材料 |
統計検定2級の学習に使う書籍(Amazon)
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
統計検定2級対応のPythonデータ分析講座(Winスクール)
Pythonのpandas・NumPy・matplotlibを使い、記述統計、仮説検定、分散分析、回帰分析を手を動かして学ぶ講座です。オンラインでも受講でき、90分×18回で構成されています。
対象はPythonプログラミングの修了者か同程度の知識がある人で、統計の計算をPythonで実務に使いたい人に向いています。試験対策だけが目的なら、先にこのサイトの予想問題と模試で弱点の章を確かめてください。
無料の受講相談を見るどこで迷っているかを切り分ける
「誤差」と「残差」を同じ言葉の言い換えと思っている人
誤差は真のモデルからのずれ、残差は推定した直線からのずれです。前者は観測できず、後者は計算できます。
残差の合計が0なので、誤差の合計も0だと考えてしまう人
残差の合計が0になるのは、最小二乗法で切片を含めて当てはめた結果です。誤差には合計が0になる保証はありません。
誤差分散を、残差平方和をnで割って求めてしまう人
単回帰では、推定する係数が2つあるので、残差平方和を自由度n−2で割ります。nで割ると誤差分散を小さく見積もります。
具体例で使い分ける
例 1
5点のデータで残差を計算する
xが1・2・3・4・5のとき、yが2・4・5・4・5だったとします(架空のデータ)。xの平均は3、yの平均は4です。
- 傾きは、Σ(x−3)(y−4)=4+0+0+0+2=6を、Σ(x−3)²=10で割って0.6です。切片は4−0.6×3=2.2なので、回帰直線はŷ=2.2+0.6xです。
- 予測値は2.8・3.4・4.0・4.6・5.2です。残差e=y−ŷは−0.8・0.6・1.0・−0.6・−0.2になります。
- 残差の合計は−0.8+0.6+1.0−0.6−0.2=0で、確かに0です。残差平方和は0.64+0.36+1.00+0.36+0.04=2.4です。
- 誤差分散σ²の推定値は、2.4/(5−2)=0.8です。残差標準偏差は√0.8≒0.894になります。
結論: 計算できたのはすべて残差です。誤差εそのものの値は、真の直線が分からないため求まりません。
例 2
誤差の合計は0になるとは限らない
真のモデルがy=2+0.5x+εだと分かっている状況を考えます(シミュレーションの設定。架空の例)。x=1・2・3のとき誤差が0.3・−0.1・0.2だったとします。
- 誤差の合計は0.3−0.1+0.2=0.4で、0にはなりません。誤差は、平均が0という仮定のもとで確率的にばらつく量です。
- 同じデータに最小二乗法で直線を当てはめると、残差の合計は0になります。誤差と残差は別の量です。
結論: 「合計が0」は残差の性質で、誤差の性質ではありません。誤差に置くのは、平均0・分散が一定という仮定です。
問題文から答えを選ぶ手順
- 1
計算できる量か、仮定の対象かを見る
データから具体的な数が出るなら残差、モデルの式に出てくるεや分散σ²なら誤差(誤差項)の話です。
- 2
残差は観測値から予測値を引く
e=y−ŷです。予測値は回帰直線にxを代入して求めます。
- 3
合計の性質を使う
切片を含む回帰では、残差の合計は0です。計算結果の確かめに使えます。
- 4
誤差分散は自由度で割る
単回帰では、残差平方和を自由度n−2で割って誤差分散σ²を推定します。
試験での見分け方
- 1誤差は真のモデルからのずれ、残差は推定した直線からのずれ。
- 2誤差は観測できない。残差は観測値−予測値として計算できる。
- 3切片を含む最小二乗法では、残差の合計は0になる。誤差の合計が0になる保証はない。
- 4単回帰の誤差分散σ²の推定には、残差平方和を自由度n−2で割る。
- 5標準的な回帰モデルでは、誤差に平均0・分散が一定・互いに独立という仮定を置く。
誤答しやすい選択肢
残差を「誤差」と呼び、観測できない量だと考える
修正: 残差は観測値と予測値の差で、データから計算できます。観測できないのは誤差の方です。
誤差の合計が0になると答える
修正: 合計が0になるのは残差です。誤差は平均が0という仮定で、標本の合計は0とは限りません。
残差平方和をnで割って誤差分散とする
修正: 単回帰では係数を2つ推定しているので、自由度n−2で割ります。本ページの例では2.4/3=0.8です。
予測値から観測値を引いて残差を求める
修正: 残差はe=y−ŷで、観測値から予測値を引きます。逆にすると符号が反対になります。
確認問題
Q1観測値y=5、予測値ŷ=4.6のとき、残差eはいくつ?
答え: 0.4
e=y−ŷ=5−4.6=0.4です。観測値から予測値を引きます。
Q2切片を含む最小二乗法の回帰で、残差の合計はいくつ?
答え: 0
切片を含めて最小二乗法で当てはめると、残差の合計は常に0になります。本ページの例でも0です。
Q3本ページの例で、残差平方和が2.4、n=5のとき、誤差分散の推定値はいくつ?
答え: 0.8
単回帰なので自由度はn−2=3です。2.4/3=0.8になります。
Q4回帰直線を当てはめたあとで、データから値を計算できるのは誤差と残差のどちら?
答え: 残差
誤差は真のモデルからのずれで、真の係数が未知なので値は求まりません。残差は観測値と予測値の差として計算できます。
到達チェック
- 誤差を、真のモデルからのずれとして説明できる
- 残差を、観測値から予測値を引いた値として計算できる
- 誤差が観測できず、残差が計算できる理由を説明できる
- 切片を含む回帰で残差の合計が0になることを使える
- 単回帰の誤差分散を、残差平方和÷(n−2)で推定できる
関連ページで確認する
同じ資格で次に知りたいこと
- 無相関と独立の違い|相関係数0でも独立とは限らない例(統計検定2級)
無相関と独立の違いを、「共分散が0」と「同時確率が周辺確率の積」という定義の差から整理します。Y=X²で無相関なのに独立でない数値例と確認問題つきで、統計検定2級の取り違えを防ぎます。
- 累積分布関数と確率密度関数の違い|F(x)=P(X≦x)と面積の関係(統計検定2級)
累積分布関数F(x)は「x以下になる確率」、確率密度関数f(x)は「その位置の密度」で、F(x)はf(x)をxまで積分した値です。一様分布と指数分布の数値例で、区間の確率をF(b)−F(a)で求める手順を確認問題つきで解説します。
- 同時確率・周辺確率・条件付き確率の違い|同時分布の表での求め方(統計検定2級)
同時確率・周辺確率・条件付き確率の違いを、同時分布の表の「1マス」「行や列の合計」「合計を分母にした割り算」で見分けます。数値例と確認問題つきで、統計検定2級の確率の問題での使い分けを解説します。
よくある質問
Q誤差と残差は、どちらも「ずれ」だが何が違う?
誤差は真の回帰直線からのずれで観測できず、残差は当てはめた回帰直線からのずれでデータから計算できます。
Qなぜ残差の合計は0になる?
切片を含めて最小二乗法で当てはめると、残差平方和を最小にする条件から、残差の合計が0になるためです。本ページの例では−0.8+0.6+1.0−0.6−0.2=0です。
Q誤差分散は、なぜn−2で割る?
単回帰では傾きと切片の2つをデータから推定しており、残差は2つの制約を受けるからです。自由度はn−2になります。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い(統計検定2級の式と計算例)
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部(運営者情報を見る)
![日本統計学会公式認定 統計検定2級 公式問題集[CBT対応版] の表紙](/_next/image?url=https%3A%2F%2Fm.media-amazon.com%2Fimages%2FP%2F4788920476.09._SCLZZZZZZZ_.jpg&w=256&q=75)