統計検定2級の同時分布と周辺分布

結論

1. 周辺分布 = 同時確率の表で、もう一方の変数について足し合わせたもの(行の合計がX、列の合計がY)
2. 共分散 = E(XY)−E(X)E(Y)(平均との差の積の期待値と同じ値)
3. 独立 = すべてのマスでP(X=x,Y=y)=P(X=x)P(Y=y)が成り立つこと(1マスでも崩れたら独立ではない)
4. 独立なら共分散は0。逆に、共分散が0でも独立とは限らない

同時確率の表から周辺分布を出す

2つの離散確率変数XとYがそれぞれ特定の値をとる確率P(X=x,Y=y)を、表にまとめたものが同時確率の表です。Penn State STAT 414は、Xだけの分布を周辺確率質量関数と呼び、yについて確率を足し合わせて求めるとしています。Yの周辺分布は、xについて足し合わせます。

例です(架空のデータです)。Xは0か1、Yは0、1、2のいずれかをとるとし、同時確率が次の表のとおりとします。

• Xの周辺分布: P(X=0)=0.2+0.1+0.1=0.4、P(X=1)=0.1+0.2+0.3=0.6
• Yの周辺分布: P(Y=0)=0.3、P(Y=1)=0.3、P(Y=2)=0.4
• 全マスの合計は1.0(表を作ったら最初に確かめます)

周辺分布は、表の端に合計を書き足すだけで出せます。1変数の分布として扱えるので、期待値と分散の計算は期待値と分散のページと同じ手順になります。

平均・分散・共分散を求める

まず周辺分布から、XとYの平均と分散を出します。共分散は、Penn State STAT 414の定義ではCov(X,Y)=E[(X−μ_X)(Y−μ_Y)]です。同時確率の表があるときは、E(XY)−E(X)E(Y)に直した式で計算すると手間が減ります。

• Xの平均: E(X)=0×0.4+1×0.6=0.6
• Xの分散: E(X²)=0.6なので、V(X)=0.6−0.6²=0.6−0.36=0.24
• Yの平均: E(Y)=0×0.3+1×0.3+2×0.4=1.1
• Yの分散: E(Y²)=0.3+4×0.4=1.9なので、V(Y)=1.9−1.1²=1.9−1.21=0.69
• 積の期待値: xyが0にならないのは(1,1)と(1,2)の2マスだけで、E(XY)=1×1×0.2+1×2×0.3=0.2+0.6=0.8
• 共分散: Cov(X,Y)=0.8−0.6×1.1=0.8−0.66=0.14
• 相関係数: 0.14÷√(0.24×0.69)=0.14÷0.407≒0.34

E(XY)は、各マスのx×y×確率を合計したもので、E(X)とE(Y)を掛けたものとは別に計算します。共分散が正なので、Xが大きいほどYも大きくなりやすい関係です。相関係数の見方は相関係数のページにまとめています。

独立かどうかを確かめる

Penn State STAT 414は、XとYが独立であるための条件を、すべてのマスでP(X=x,Y=y)=P(X=x)P(Y=y)が成り立つことと定めています。1マスでも等しくなければ、独立ではありません。

前の表で、左上のマス(X=0,Y=0)を確かめます。

• 同時確率: P(X=0,Y=0)=0.2
• 周辺の積: P(X=0)P(Y=0)=0.4×0.3=0.12
• 0.2≠0.12なので、XとYは独立ではない(共分散0.14とも整合します)

同じ周辺分布のまま、すべてのマスを周辺の積に置き換えると独立な表ができます。X=0の行は0.4×0.3=0.12、0.12、0.4×0.4=0.16、X=1の行は0.18、0.18、0.24です。この表ではE(XY)=1×1×0.18+1×2×0.24=0.66で、E(X)E(Y)=0.66と一致するため、共分散は0になります。

独立の確認は、反例になるマスを1つ見つければ足ります。事象どうしの独立と排反の違いは排反と独立のページで整理しています。

共分散が0でも独立とは限らない

Penn State STAT 414は、XとYが独立なら共分散と相関は0だが、相関が0でも独立とは限らないとしています。数字で確かめる小さな例を挙げます(架空の例です)。Xが−1、0、1をそれぞれ確率1/3でとり、Y=X²とします。

• E(X)=(−1+0+1)÷3=0、E(XY)=(−1+0+1)÷3=0なので、Cov(X,Y)=0−0×E(Y)=0
• Yの周辺分布はP(Y=0)=1/3、P(Y=1)=2/3
• (0,0)のマスは、P(X=0,Y=0)=1/3、P(X=0)P(Y=0)=1/3×1/3=1/9で一致しない

共分散が0でも、YがXから決まる関係なら独立ではありません。共分散と相関係数は直線的な関係の強さを見る指標なので、この例のような曲線の関係は0になることがあります。

和の分散で結果を確かめる

和X+Yの分散は、V(X)+V(Y)+2Cov(X,Y)です。最初の表で和の分布を直接作り、この式と一致するかを確かめます。

• 式で計算: 0.24+0.69+2×0.14=1.21
• X+Yの分布: 値0が確率0.2、値1が0.1+0.1=0.2、値2が0.1+0.2=0.3、値3が0.3
• 平均: 0.2+0.6+0.9=1.7(E(X)+E(Y)=0.6+1.1と一致)
• 2乗の期待値: 0.2+4×0.3+9×0.3=4.1
• 分散: 4.1−1.7²=4.1−2.89=1.21(式の結果と一致)

共分散を入れた式と、和の分布から直接出した分散が一致すれば、途中の計算が合っています。共分散が0のときだけ、分散はV(X)+V(Y)=0.93の単純な足し算になります。

間違えやすい点

計算の途中で起きやすい取り違えを、このページの例で4つ挙げます。

• 周辺分布を足す向きを逆にする: Xの分布は行の合計(0.4と0.6)で、列の合計(0.3、0.3、0.4)はYの分布です。
• E(XY)をE(X)E(Y)と同じとみなす: 独立でなければ一致せず、この例では0.8と0.66で差の0.14が共分散です。
• 1マスだけ確かめて独立と判断する: 独立と言えるのは全マスで成り立つときだけで、反例は1マスで足ります。
• 共分散が0を独立と読む: Y=X²の例のように、共分散が0でも独立ではない場合があります。

独立なら共分散は0ですが、逆は言えません。

問題文から読み取る

問題文の言い回しから、使う式を判断できます。このページの例から導いた読み方で、出題を予想するものではありません。

• 「同時確率分布表が与えられている」とあれば、行と列の合計で周辺分布を作る
• 「Xの周辺分布」「Yの周辺分布」とあれば、もう一方の変数について足し合わせる
• 「共分散を求めよ」とあれば、E(XY)を各マスから計算してE(X)E(Y)を引く
• 「XとYは独立か」とあれば、全マスで同時確率と周辺の積を比べ、1マスでも違えば独立ではない
• 「X+Yの分散」とあれば、V(X)+V(Y)+2Cov(X,Y)に代入し、独立のときだけ共分散の項を落とす

よくある質問

次に読むと効率的なページ