AI資格ドリル
資格を選ぶ

用語比較

事前分布と事後分布の違い|データを見る前の評価と、見たあとに改めた評価(ベイズ更新・G検定)

事前分布は、データを見る前に「パラメータはこのあたりの値だろう」と考えた評価を、確率の分布で表したものです。事後分布は、その評価をデータで改めたあとの分布です。ベイズ推定は、事前分布からデータを使って事後分布へ更新する流れで答えを出します。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。

事前分布と事後分布の要点

事前分布

現在のデータを見る前に、過去の情報や主観的な判断で作るパラメータの分布。未知のパラメータの各値がどれくらいありそうかという、出発点の評価を表す(NIST)。

事後分布

現在のデータをベイズの公式で使い、出発点の評価を改めた分布。推定値と信用区間は、この事後分布から直接計算する(NIST)。

つなぐ式

事後分布 ∝ 尤度 × 事前分布。NISTの式では g(λ|x)=f(x|λ)g(λ)÷∫f(x|λ)g(λ)dλ で、f が尤度、g(λ) が事前分布、g(λ|x) が事後分布。

違いを表で確認

比較軸事前分布事後分布
いつの評価か事前分布:データを見る前の評価事後分布:データを見たあとに改めた評価
作り方事前分布:過去の情報や主観的な判断で、利用者が選ぶ。NISTは、選んだ事前分布を検証できるデータが実際に揃うことはまれだと述べる事後分布:事前分布と、データの確率モデル(尤度関数)をベイズの公式で組み合わせて計算する
ここから求められるもの事前分布:データを見る前の出発点の評価。データを反映した推定値や信用区間は、事後分布から求める事後分布:推定値と信用区間。NISTは、信用区間を未知のパラメータについての確率の言明として正当なものとする
次の更新での役割事前分布:1回目の更新の出発点になる事後分布:新しいデータが来たら、次の更新の事前分布として使える
計算のしやすさ事前分布:共役事前分布を選ぶと、事後分布が同じ分布族になる事後分布:共役の組み合わせなら式で書ける。そうでなければ、一般に計算が重くなる

どこで迷っているかを切り分ける

01

ベイズの公式の g(λ) と g(λ|x) がどちらか迷う人

縦棒の右にxがない g(λ) が事前分布、「xが観測されたという条件のもとで」を表す g(λ|x) が事後分布です。f(x|λ) は、パラメータが λ のときのデータの出やすさで、尤度関数と呼びます。

02

事前分布は主観だから、結果も主観にすぎないと思う人

NISTは、事前分布は過去の情報や主観的な判断で作ると述べます。一方で、データが増えると、結果は事前分布よりデータに強く引かれていきます。数値例の2回目の更新を見ると、その様子を確かめられます。

03

事後分布が1つの値でなく分布で出てくることに戸惑う人

ベイズ流は、パラメータを固定値でなく確率変数として扱います。だから答えも分布で出ます。1つの値がほしいときは、事後分布の平均や、最も確率が高い点(MAP推定)を取り出します。

04

共役という言葉が出てきて止まった人

事後分布と事前分布が同じ分布族に属すとき、その事前分布を共役事前分布と呼びます。NISTは、二項分布の成功割合にはベータ分布が共役事前分布だと述べます。コイン投げの割合がベータ分布で更新できるのはこのためです。

具体例で使い分ける

例 1

コインの表の出やすさを、10回の投げで更新する(架空のデータ)

表が出る確率 p を知りたいコインがあります。データを見る前は、0.5付近が最もありそうで、極端な値はありそうでない、と考えます。これをベータ分布 Beta(2,2) で表します(平均 2÷4=0.5)。10回投げて、表が8回出ました。

  • 二項分布の成功割合では、ベータ分布が共役事前分布です。表が k 回、裏が n−k 回なら、Beta(a,b) は Beta(a+k, b+n−k) に更新されます。この更新則は、当サイトによる導出です。
  • Beta(2,2) に表8回・裏2回を足すと、事後分布は Beta(10,4) です。平均は 10÷14=約0.714 です。
  • データだけで決める最尤推定なら、8÷10=0.8 です。事後分布の平均 0.714 は、事前分布の平均 0.5 とデータの 0.8 の間に来ます。

結論: 事前分布の平均は0.5、事後分布の平均は約0.714です。データを見て、評価が表の出やすい側へ動きました。

例 2

同じ10回を、5回ずつ2度に分けて更新する(架空のデータ)

同じコインで、最初に5回投げて表が4回、続けて5回投げて表が4回でした。事前分布は同じ Beta(2,2) です。

  • 1回目:Beta(2,2) に表4回・裏1回を足して Beta(6,3)。平均は 6÷9=約0.667 です。
  • 2回目:この Beta(6,3) を新しい事前分布として、表4回・裏1回を足すと Beta(10,4) です。

結論: 2回に分けても、10回まとめて更新した結果と同じ Beta(10,4) になります。1回目の事後分布が、2回目の事前分布になっています。

問題文から答えを選ぶ手順

  1. 1

    事前分布を決める

    データを見る前の評価を、分布で表します。まだ何も知らないなら、広く平らな分布を選ぶ方法もあります。

  2. 2

    データの確率モデルを決める

    データがどんな分布から出るかを決めます。コイン投げなら二項分布で、これが尤度関数になります。

  3. 3

    ベイズの公式で更新する

    事前分布に尤度をかけ、全体を足し合わせた値(積分)で割ります。共役の組み合わせなら、足し算で更新できます。

  4. 4

    事後分布から答えを取り出す

    推定値や信用区間を、事後分布から計算します。新しいデータが来たら、この事後分布を次の事前分布にして、手順3へ戻ります。

試験での見分け方

  • 1事前分布はデータを見る前の評価、事後分布は見たあとの評価。
  • 2事後分布は、事前分布と尤度をベイズの公式で組み合わせて求める。
  • 3推定値と信用区間は、事後分布から計算する。
  • 4事後分布は、次の更新の事前分布になる。

誤答しやすい選択肢

事後分布を、データだけから決まるものだと考える

修正: 事後分布は、事前分布と尤度の両方で決まります。数値例の平均0.714が、データだけの0.8と事前分布の0.5の間にあるのはそのためです。

尤度を、パラメータの確率分布だと考える

修正: 尤度 f(x|λ) は、パラメータを決めたときのデータの出やすさです。パラメータの分布は、事前分布 g(λ) と事後分布 g(λ|x) です。

事前分布を選べば、検証できる正しい値があると考える

修正: NISTは、選んだ事前分布を検証できるデータが実際に揃うことはまれで、柔軟さと計算の便利さから選ぶことが多いと述べます。

確認問題

Q1ベイズの公式 g(λ|x) で、g(λ|x) は事前分布と事後分布のどちら?

答え: 事後分布

縦棒の右の x は、データが観測されたという条件です。データを見たあとの分布なので事後分布です。

Q2事前分布 Beta(2,2) で、10回中表が8回出ると、事後分布は?

答え: Beta(10,4)

Beta(a,b) に表の回数 k と裏の回数 n−k を足して Beta(a+k, b+n−k)。2+8=10、2+2=4 です。

Q3二項分布の成功割合に対する共役事前分布は?

答え: ベータ分布

NISTは、二項分布から標本が得られるとき、成功割合 p の共役事前分布がベータ分布だと述べます。

到達チェック

  • 事前分布と事後分布の違いを、データを見る前後で言える
  • 事後分布が事前分布と尤度から求まると言える
  • 事後分布が次の更新の事前分布になると言える

同じ資格で次に知りたいこと

よくある質問

Q事前分布は、どう選べばよい?

A

NISTは、過去の情報や主観的な判断で作ると述べます。ベータ分布のように計算しやすい共役事前分布が、柔軟さと便利さから選ばれることが多いと説明しています。

Q事後分布は、最終的な答えなの?

A

答えの出発点です。平均や信用区間を取り出して使います。新しいデータが来れば、その事後分布が次の事前分布になり、さらに更新できます。

QG検定にこの違いは出る?

A

JDLAの公式シラバスにこの2語が個別に挙がっているかは、当サイトでは確かめていません。ベイズ推定の考え方を理解する補足として読んでください。

次に見る比較

執筆: AI資格ドリル編集部(運営者情報を見る)