統計検定2級のp値と有意水準の違い

結論

1. 有意水準α = 検定の前に決める基準。よく使う値は0.1、0.05、0.01
2. p値 = 検定統計量が、観測された値と同じかそれ以上に極端になる確率
3. 判断 = p値がαより小さければ帰無仮説を棄却する
4. p値は、帰無仮説が正しい確率ではない

2つの違いを比べる

NIST/SEMATECH e-Handbookは、有意水準αを検定の感度を決める基準とし、よく使う値として0.1、0.05、0.01を挙げています。α=0.05は、帰無仮説が実際に正しいときに5%の確率で棄却することを意味します。p値は、検定統計量が観測された値と同じかそれ以上に極端になる確率と定義されています。

• 有意水準: 検定の前に、結論を出す基準として自分で選ぶ数
• p値: 検定の後に、データと帰無仮説の分布から計算して決まる数

有意水準は選ぶ数、p値は計算で出る数で、決まるタイミングが違います。検定の手順全体は仮説検定のページにまとめています。

z=2.0の例で判断する

例です(架空のデータです)。帰無仮説のもとで標準正規分布に従う検定統計量が、計算の結果z=2.0になったとします。NISTの標準正規分布表では、0からz=2.0までの面積が0.47725です。片側の裾は0.5−0.47725=0.02275、両側はその2倍で約0.0455です。

同じp値でも、有意水準が違えば結論が変わります。だから有意水準は、p値を見る前に決めておきます。NISTのe-Handbookも、基準は検定を行う前に選ぶ流れで説明しています。

両側と片側でp値が変わる

上の例のz=2.0では、片側のp値が約0.0228、両側のp値が約0.0455です。両側検定は、極端な値が両方の裾に出る場合を数えるため、片側の2倍になります(正規分布の左右対称を使った計算です)。

• α=0.05の片側検定: 0.0228 < 0.05 で棄却する
• α=0.05の両側検定: 0.0455 < 0.05 で棄却する
• α=0.03の両側検定: 0.0455 > 0.03 で棄却しない。片側なら0.0228 < 0.03 で棄却する

片側か両側かで同じデータの結論が変わることがあるため、問題文の対立仮説を先に確かめます。臨界値で判断する方法は、5%水準の両側検定で1.96を使う形が代表例です。NISTの標準正規分布表では、片側の確率が0.025(両側で合計0.05)になる点が1.960です。

p値が表さないもの

米国統計学会(ASA)の2016年のp値声明は、6つの原則を示しています。原則2は、p値が検討中の仮説が真である確率や、データが偶然だけで生じた確率を測るものではない、というものです。原則3は、結論や意思決定を、p値が特定の基準を超えたかどうかだけで決めてはならない、というものです。

• p値0.0455は「帰無仮説が正しい確率が4.55%」という意味ではない
• p値0.0455は「データが偶然だけで生じた確率が4.55%」という意味でもない
• p値が0.05を下回ったかどうかだけで、結論や意思決定を決めない

p値は、帰無仮説のもとでの観測値の珍しさを表す数で、仮説が正しい確率ではありません。

間違えやすい点

取り違えやすい点を、このページの例で4つ挙げます。

• p値とαを同じものと考える: αは先に選ぶ基準、p値は後から計算する数です。
• 比べる向きを逆にする: 0.0455と0.05では、p値のほうが小さいので棄却します。p値が大きければ棄却しません。
• 両側のp値を片側と比べる: z=2.0の両側は0.0455、片側は0.0228で、半分ほど違います。
• p値を仮説が正しい確率と読む: p値0.0455は、帰無仮説が正しい確率を表しません。

棄却するか迷ったら、p値とαのどちらが小さいかを、片側か両側かをそろえて比べます。

問題文から読み取る

問題文の言い回しから、確認する点を判断できます。このページの例から導いた読み方で、出題を予想するものではありません。

• 「有意水準5%で検定する」とあれば、α=0.05と比べる
• 「p値は0.03」とあれば、αと比べて、小さいほうが棄却する側
• 「対立仮説はμ≠μ0」とあれば両側、「μ>μ0」「μ<μ0」とあれば片側
• 「帰無仮説が正しい確率は」とあれば、p値の読み方の誤りを疑う
• 「データが偶然だけで生じた確率」とあれば、p値の読み方の誤りを疑う

よくある質問

次に読むと効率的なページ