最小二乗法とは

大項目8 AIに必要な数理・統計知識 / 確率・統計

モデルのパラメータを推定する手法に関する次の説明のうち、誤っているものはどれか。

正解は「最尤法とは、実際のデータとモデルによる予測値との誤差（残差）の二乗和が最小になるようにパラメータを決める方法である」（誤り）である。この説明は最小二乗法の定義であり、最尤法は観測されたデータが得られる確率（尤度）が最大になるようにパラメータを決める方法である。両者は出発点となる基準が異なる推定方法だが、母集団の分布に正規分布を仮定すると同じ推定結果を導くことが知られている。最小二乗法・最尤法（尤度の定義）・両者の関係の説明はいずれも正しい。