最小二乗法とは

第5章 データ準備・可視化技法とモデル化 / モデル化・評価

回帰直線の係数を、観測値と予測値の差である残差の二乗和が最も小さくなるように求める方法はどれか。

正解は「最小二乗法」である。最小二乗法は、観測値と予測値の差である残差を二乗し、その合計が最小になるように回帰式の係数を求める方法である。設問は回帰直線の係数を決める目的関数として残差の二乗和を使っているため最小二乗法に一致する。ロジスティック回帰分析は分類確率を扱うモデル、交差検証はデータ分割を変えながらモデルを評価する方法、勾配ブースティングは弱い学習器を順次組み合わせる手法である。何を最小化して係数を求めるかを確認する。残差をそのまま足さず、二乗して合計する点が名称を判断する手掛かりになる。