用語比較
最小二乗法と残差｜統計検定2級で整理する
最小二乗法は、残差の二乗の合計（残差平方和）が最小になるように回帰直線の傾きと切片を決める方法です。残差は、観測値から予測値を引いた差のことです。残差を材料に、その二乗和を最小にする直線を選ぶのが最小二乗法です。
統計検定2級の公式出題範囲表は、単回帰と予測の項目として、最小二乗法、変動の分解、決定係数、回帰係数、分散分析表、観測値と予測値、残差プロット、標準誤差、変数変換を挙げています。
このページは、最小二乗法と残差の関係があいまいな人を対象に、直線の求め方と残差の読み方を数値例で整理します。ここでは、最小二乗法と残差の関係に絞ります。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。統計検定2級の一次情報確認日: 2026-10-09。
結論
最小二乗法
残差の二乗和が最小になるように、回帰直線の傾きと切片を決める方法。
残差
観測値から予測値を引いた差。残差プロットで、直線の当てはまりを目で確かめる。
求め方
傾きb1は、xとyの平均との差の積和÷xの偏差平方和。切片b0は、yの平均−b1×xの平均。
違いを表で確認
| 比較軸 | 最小二乗法 | 残差 |
|---|---|---|
| 何を指すか | 残差の二乗和を最小にして係数を決める推定の方法 | 観測値から予測値を引いた、1点ごとの差 |
| 役割 | 回帰直線の傾きと切片を決める | 決めた直線の当てはまりを確かめる材料（残差プロット、残差標準偏差） |
| 二乗する理由 | プラスとマイナスの残差が打ち消し合わないよう、二乗して合計する | そのままの合計は0になるため、ばらつきは二乗和で見る |
| ばらつきの指標 | 最小にした残差平方和（SSE）は、決定係数の計算にも使う | 残差標準偏差s = √(Σ残差² ÷ (N − P))。単回帰ではP = 2 |
統計検定2級の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
統計検定2級対応のPythonデータ分析講座（Winスクール）
Pythonのpandas・NumPy・matplotlibを使い、記述統計、仮説検定、分散分析、回帰分析を手を動かして学ぶ講座です。オンラインでも受講でき、90分×18回で構成されています。
対象はPythonプログラミングの修了者か同程度の知識がある人で、統計の計算をPythonで実務に使いたい人に向いています。試験対策だけが目的なら、先にこのサイトの予想問題と模試で弱点の章を確かめてください。
無料の受講相談を見るどこで迷っているかを切り分ける
最小二乗法を何を最小にするのか言えない人
最小にするのは残差の二乗和です。観測値と回帰直線上の予測値の差を残差とし、その二乗和が最小になる傾きと切片を選びます。
残差標準偏差の分母がわからない人
分母はN − Pで、Pは推定した係数の個数です。切片と傾きを推定する単回帰ではP = 2なので、分母はN − 2です。
具体例で使い分ける
例 1
x = 1、2、3のときy = 2、5、5となるデータ
直線に完全には乗らないデータで、最小二乗法の傾きと切片、残差を求めます。
- xの平均は2、yの平均は4です。xとyの平均との差の積和は(−1)×(−2) + 0×1 + 1×1 = 3、xの偏差平方和は2なので、傾きb1 = 3 ÷ 2 = 1.5です。
- 切片b0 = 4 − 1.5 × 2 = 1なので、回帰直線はy = 1 + 1.5xです。予測値は2.5、4、5.5で、残差は−0.5、1、−0.5です。
- 残差の合計は0、残差平方和は0.25 + 1 + 0.25 = 1.5です。残差標準偏差はN − P = 3 − 2 = 1で割り、√1.5 ≒ 1.22です。
結論: 傾きと切片は平均と偏差から求め、残差の二乗和で当てはまりを測ります。
問題文から答えを選ぶ手順
- 1
最小にするものを読む
「残差の二乗和を最小にする」なら最小二乗法です。
- 2
傾きと切片の式を使う
傾きはxとyの平均との差の積和÷xの偏差平方和、切片はyの平均−傾き×xの平均です。
- 3
残差を求める
観測値から予測値を引いた差が残差です。残差標準偏差の分母はN − Pです。
試験での見分け方
- 1最小二乗法は、残差の二乗和を最小にする方法。
- 2残差は観測値から予測値を引いた差。
- 3単回帰の最小二乗回帰直線は、標本の平均点（xの平均、yの平均）を通る。
- 4残差標準偏差はs = √(Σ残差² ÷ (N − P))で、単回帰ではP = 2。
誤答しやすい選択肢
最小二乗法で残差の合計を最小にすると考える
修正: 最小にするのは残差の二乗和です。プラスとマイナスの残差は打ち消し合うため、合計では当てはまりを測れません。
残差標準偏差の分母をいつもNにする
修正: 分母はN − Pです。単回帰では推定した係数が切片と傾きの2つなので、N − 2になります。
回帰直線は平均点を通るとは限らないと考える
修正: 切片が「yの平均−傾き×xの平均」で求まるため、単回帰の最小二乗回帰直線は必ず標本の平均点を通ります。
確認問題
Q1最小二乗法が最小にするものは何ですか？
答え: 残差の二乗和（残差平方和）
観測値から予測値を引いた差を残差とし、その二乗和が最小になる傾きと切片を選びます。
Q2x = 1、2、3、y = 3、5、7のとき、最小二乗法による回帰直線は？
答え: y = 1 + 2x
データが直線上に乗っているため、残差はすべて0です。x = 4の予測値は9です。
Q3N = 20の単回帰で、残差標準偏差の分母はいくつですか？
答え: 18（N − 2）
切片と傾きの2つの係数を推定するため、P = 2です。
到達チェック
- 最小二乗法が最小にするものを言える
- 傾きと切片の求め方を書ける
- 残差の定義と、残差標準偏差の分母がN − Pだと説明できる
関連ページで確認する
同じ資格で次に知りたいこと
- 多重共線性と相関係数の違い（重回帰での見方）｜統計検定2級で整理する
統計検定2級の多重共線性と相関係数の違いを、何を表す語か、説明変数どうしの相関が強いときに回帰係数で何が起こるかという重回帰での見方で整理し、確認問題つきで解説します。
- 帰無仮説と対立仮説の違い｜仮説検定の2つの仮説（統計検定2級）
帰無仮説と対立仮説の違いを、疑う条件と信じる条件という役割、棄却するの意味、片側・両側の置き方、統計検定2級での結論の書き方と確認問題まで解説します。
- ウェルチの検定と等分散を仮定する2標本t検定の違い｜統計検定2級で整理する
統計検定2級のウェルチの検定と、等分散を仮定する2標本t検定の違いを、分散の扱い、t統計量の分母、自由度の求め方で整理し、数値例と確認問題つきで解説します。
よくある質問
Q最小二乗法とは？
残差の二乗和が最小になるように、回帰直線の傾きと切片を決める方法です。
Q残差とは？
観測値から予測値を引いた差です。
Q最小二乗法は統計検定2級の範囲内ですか？
はい。公式出題範囲表は、単回帰と予測の項目に最小二乗法と残差プロットを挙げています。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）