尤度関数と最尤法（コイン投げの計算で確認）

尤度・最尤推定値の定義と二項分布・正規分布の例

1. 尤度は、選んだ確率分布のもとでそのデータが得られる確率（連続の場合は確率密度）を、母数の関数として見たもの
2. 尤度を最大にする母数の値が最尤推定値。計算では、積を和に直せる対数尤度を微分することが多い
3. 二項分布で10回中7回表なら、尤度 120p⁷(1-p)³ はp=0.7で最大。最尤推定値は標本比率 x/n
4. 正規分布の平均の最尤推定値は標本平均。分散の最尤推定値は偏差平方和をnで割った値で、n-1で割る不偏分散とは異なる
5. 統計検定2級の出題範囲表に「尤度」「最尤」の語はない。点推定の背景として読む

尤度関数とは

NIST/SEMATECH e-Handbookは、最尤推定を標本データの尤度関数を書くことから始めるとしています。尤度をゆるく言えば、選んだ確率分布モデルのもとで、そのデータの組が得られる確率です。式には未知の母数が入っていて、標本の尤度を最大にする母数の値が最尤推定値です。

確率との違いは、動かす側です。確率は母数を決めておいてデータの起こりやすさを見ます。尤度はデータを決めておいて、母数を動かします。尤度を母数について足し合わせても1にはなりません。次のコイン投げの表で、実際に確かめられます。

点推定の用語は点推定の用語集で確認できます。

コイン投げで尤度を比べる

計算例です（このページの架空のデータです）。コインを10回投げて、表が7回出ました。表の確率をpとすると、このデータが得られる確率は二項分布から L(p) = C(10,7) p⁷ (1-p)³ = 120 p⁷ (1-p)³ です。観測は固定されているので、これはpだけの関数です。pをいくつか試します。

尤度は p = 0.7 で最大の約0.2668になります。取り上げた5つの値の合計は約0.86です。尤度は「どのpが正しいかの確率」ではなく、pごとにデータの得られやすさを比べる値だと分かります。

対数尤度を微分して最尤推定値を出す

表で当たりをつけた p = 0.7 を、式で確かめます。尤度の対数をとると、積が和になって微分しやすくなります。対数は増加関数なので、尤度を最大にするpと対数尤度を最大にするpは同じです。

• 対数尤度: ln L(p) = 定数 + 7 ln p + 3 ln(1-p)
• pで微分して0とおく: 7/p - 3/(1-p) = 0
• 整理すると 7(1-p) = 3p、よって p = 7/10 = 0.7

表がx回出た n 回のコイン投げでは、最尤推定値は x/n、つまり標本比率になります。母比率の点推定に標本比率を使う理由の1つが、この計算です。

正規分布の平均と分散

正規分布 N(μ, σ²) からの標本でも、同じ手順で最尤推定値が出ます。対数尤度をμとσ²で微分して0とおくと、平均μの最尤推定値は標本平均 x̄、分散σ²の最尤推定値は偏差平方和をnで割った Σ(xᵢ-x̄)²/n になります。

計算例です（このページの架空のデータです）。標本が 1、3、5 のとき、標本平均は3、偏差平方和は (1-3)² + (3-3)² + (5-3)² = 8 です。

• 分散の最尤推定値: 8 ÷ 3 ≒ 2.667
• 不偏分散: 8 ÷ (3-1) = 4

最尤推定値は常に不偏とは限りません。分散の最尤推定値は不偏分散より小さく、nが大きくなると2つの差は縮まります。不偏性の考え方は不偏性と一致性のページで確認できます。

2級の出題範囲との関係

統計検定センターの2級出題範囲表の推定の項目に並ぶのは、点推定、推定量と推定値、有限母集団、一致性、不偏性、信頼区間、信頼係数です。「尤度」「最尤」の語は、この表にありません。出題の有無を予想するものではなく、点推定を理解するための背景として読むページです。

• 標本比率が母比率の推定量として自然な理由は、二項分布の最尤推定値が x/n になることで説明できる
• 分散の推定でnとn-1が出てくる理由は、最尤推定値と不偏推定量の違いで整理できる
• NISTによると、標本が大きいときの最尤推定値は、不偏で分散最小の推定量に近づき、近似的に正規分布に従う
• 標本が小さいと偏り得る。NISTは、失敗の数が5未満（10未満でも小さい）を小さい例に挙げている

ロジスティック回帰のようなモデルの係数は、最尤法で推定されます。出力の読み方はロジスティック回帰のページで確認できます。

よくある質問

次に読むと効率的なページ