用語比較
事前分布と事後分布の違い|データを見る前の評価と、見たあとに改めた評価(ベイズ更新・G検定)
事前分布は、データを見る前に「パラメータはこのあたりの値だろう」と考えた評価を、確率の分布で表したものです。事後分布は、その評価をデータで改めたあとの分布です。ベイズ推定は、事前分布からデータを使って事後分布へ更新する流れで答えを出します。
この記事の目次
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。
事前分布と事後分布の要点
事前分布
現在のデータを見る前に、過去の情報や主観的な判断で作るパラメータの分布。未知のパラメータの各値がどれくらいありそうかという、出発点の評価を表す(NIST)。
事後分布
現在のデータをベイズの公式で使い、出発点の評価を改めた分布。推定値と信用区間は、この事後分布から直接計算する(NIST)。
つなぐ式
事後分布 ∝ 尤度 × 事前分布。NISTの式では g(λ|x)=f(x|λ)g(λ)÷∫f(x|λ)g(λ)dλ で、f が尤度、g(λ) が事前分布、g(λ|x) が事後分布。
違いを表で確認
| 比較軸 | 事前分布 | 事後分布 |
|---|---|---|
| いつの評価か | 事前分布:データを見る前の評価 | 事後分布:データを見たあとに改めた評価 |
| 作り方 | 事前分布:過去の情報や主観的な判断で、利用者が選ぶ。NISTは、選んだ事前分布を検証できるデータが実際に揃うことはまれだと述べる | 事後分布:事前分布と、データの確率モデル(尤度関数)をベイズの公式で組み合わせて計算する |
| ここから求められるもの | 事前分布:データを見る前の出発点の評価。データを反映した推定値や信用区間は、事後分布から求める | 事後分布:推定値と信用区間。NISTは、信用区間を未知のパラメータについての確率の言明として正当なものとする |
| 次の更新での役割 | 事前分布:1回目の更新の出発点になる | 事後分布:新しいデータが来たら、次の更新の事前分布として使える |
| 計算のしやすさ | 事前分布:共役事前分布を選ぶと、事後分布が同じ分布族になる | 事後分布:共役の組み合わせなら式で書ける。そうでなければ、一般に計算が重くなる |
G検定の学習に使う書籍(Amazon)
PRどこで迷っているかを切り分ける
ベイズの公式の g(λ) と g(λ|x) がどちらか迷う人
縦棒の右にxがない g(λ) が事前分布、「xが観測されたという条件のもとで」を表す g(λ|x) が事後分布です。f(x|λ) は、パラメータが λ のときのデータの出やすさで、尤度関数と呼びます。
事前分布は主観だから、結果も主観にすぎないと思う人
NISTは、事前分布は過去の情報や主観的な判断で作ると述べます。一方で、データが増えると、結果は事前分布よりデータに強く引かれていきます。数値例の2回目の更新を見ると、その様子を確かめられます。
事後分布が1つの値でなく分布で出てくることに戸惑う人
ベイズ流は、パラメータを固定値でなく確率変数として扱います。だから答えも分布で出ます。1つの値がほしいときは、事後分布の平均や、最も確率が高い点(MAP推定)を取り出します。
共役という言葉が出てきて止まった人
事後分布と事前分布が同じ分布族に属すとき、その事前分布を共役事前分布と呼びます。NISTは、二項分布の成功割合にはベータ分布が共役事前分布だと述べます。コイン投げの割合がベータ分布で更新できるのはこのためです。
具体例で使い分ける
例 1
コインの表の出やすさを、10回の投げで更新する(架空のデータ)
表が出る確率 p を知りたいコインがあります。データを見る前は、0.5付近が最もありそうで、極端な値はありそうでない、と考えます。これをベータ分布 Beta(2,2) で表します(平均 2÷4=0.5)。10回投げて、表が8回出ました。
- 二項分布の成功割合では、ベータ分布が共役事前分布です。表が k 回、裏が n−k 回なら、Beta(a,b) は Beta(a+k, b+n−k) に更新されます。この更新則は、当サイトによる導出です。
- Beta(2,2) に表8回・裏2回を足すと、事後分布は Beta(10,4) です。平均は 10÷14=約0.714 です。
- データだけで決める最尤推定なら、8÷10=0.8 です。事後分布の平均 0.714 は、事前分布の平均 0.5 とデータの 0.8 の間に来ます。
結論: 事前分布の平均は0.5、事後分布の平均は約0.714です。データを見て、評価が表の出やすい側へ動きました。
例 2
同じ10回を、5回ずつ2度に分けて更新する(架空のデータ)
同じコインで、最初に5回投げて表が4回、続けて5回投げて表が4回でした。事前分布は同じ Beta(2,2) です。
- 1回目:Beta(2,2) に表4回・裏1回を足して Beta(6,3)。平均は 6÷9=約0.667 です。
- 2回目:この Beta(6,3) を新しい事前分布として、表4回・裏1回を足すと Beta(10,4) です。
結論: 2回に分けても、10回まとめて更新した結果と同じ Beta(10,4) になります。1回目の事後分布が、2回目の事前分布になっています。
問題文から答えを選ぶ手順
- 1
事前分布を決める
データを見る前の評価を、分布で表します。まだ何も知らないなら、広く平らな分布を選ぶ方法もあります。
- 2
データの確率モデルを決める
データがどんな分布から出るかを決めます。コイン投げなら二項分布で、これが尤度関数になります。
- 3
ベイズの公式で更新する
事前分布に尤度をかけ、全体を足し合わせた値(積分)で割ります。共役の組み合わせなら、足し算で更新できます。
- 4
事後分布から答えを取り出す
推定値や信用区間を、事後分布から計算します。新しいデータが来たら、この事後分布を次の事前分布にして、手順3へ戻ります。
試験での見分け方
- 1事前分布はデータを見る前の評価、事後分布は見たあとの評価。
- 2事後分布は、事前分布と尤度をベイズの公式で組み合わせて求める。
- 3推定値と信用区間は、事後分布から計算する。
- 4事後分布は、次の更新の事前分布になる。
誤答しやすい選択肢
事後分布を、データだけから決まるものだと考える
修正: 事後分布は、事前分布と尤度の両方で決まります。数値例の平均0.714が、データだけの0.8と事前分布の0.5の間にあるのはそのためです。
尤度を、パラメータの確率分布だと考える
修正: 尤度 f(x|λ) は、パラメータを決めたときのデータの出やすさです。パラメータの分布は、事前分布 g(λ) と事後分布 g(λ|x) です。
事前分布を選べば、検証できる正しい値があると考える
修正: NISTは、選んだ事前分布を検証できるデータが実際に揃うことはまれで、柔軟さと計算の便利さから選ぶことが多いと述べます。
確認問題
Q1ベイズの公式 g(λ|x) で、g(λ|x) は事前分布と事後分布のどちら?
答え: 事後分布
縦棒の右の x は、データが観測されたという条件です。データを見たあとの分布なので事後分布です。
Q2事前分布 Beta(2,2) で、10回中表が8回出ると、事後分布は?
答え: Beta(10,4)
Beta(a,b) に表の回数 k と裏の回数 n−k を足して Beta(a+k, b+n−k)。2+8=10、2+2=4 です。
Q3二項分布の成功割合に対する共役事前分布は?
答え: ベータ分布
NISTは、二項分布から標本が得られるとき、成功割合 p の共役事前分布がベータ分布だと述べます。
到達チェック
- 事前分布と事後分布の違いを、データを見る前後で言える
- 事後分布が事前分布と尤度から求まると言える
- 事後分布が次の更新の事前分布になると言える
関連ページで確認する
同じ資格で次に知りたいこと
- 決定木の事前剪定と事後剪定の違い|深さの制限とコスト複雑度剪定(G検定の決定木と過学習)
決定木の事前剪定と事後剪定の違いを、木を止める時点・使う手がかり・代表的な設定・見落としやすい点の4つで整理。葉の数を罰則にするコスト複雑度剪定の計算例と確認問題つき。G検定の決定木と過学習の整理に使える。
- SVMとランダムフォレストの違い|境界の引き方と木の多数決(G検定)
SVM(サポートベクターマシン)とランダムフォレストの違いを、分類のしくみ・過学習の抑え方・前処理・確率の出し方で整理します。scikit-learn公式文書にもとづく解説と確認問題つき。
- L2正則化と重み減衰(weight decay)の違い|SGDでは同じでAdamでは違う
L2正則化と重み減衰(weight decay)の違いを、損失に罰則を足す方法と重みを直接縮める方法の更新式、SGDでは等価になる条件、Adamでは等価にならない理由、AdamWの論文の数値まで、G検定の正則化の範囲と合わせて整理します。
よくある質問
Q事前分布は、どう選べばよい?
NISTは、過去の情報や主観的な判断で作ると述べます。ベータ分布のように計算しやすい共役事前分布が、柔軟さと便利さから選ばれることが多いと説明しています。
Q事後分布は、最終的な答えなの?
答えの出発点です。平均や信用区間を取り出して使います。新しいデータが来れば、その事後分布が次の事前分布になり、さらに更新できます。
QG検定にこの違いは出る?
JDLAの公式シラバスにこの2語が個別に挙がっているかは、当サイトでは確かめていません。ベイズ推定の考え方を理解する補足として読んでください。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い(統計検定2級の式と計算例)
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: AI資格ドリル編集部(運営者情報を見る)
