用語比較
多重検定とボンフェローニ補正の違い｜検定を何回も行うと誤りが増える理由と、有意水準を検定回数で割る方法
多重検定は、同じデータで検定を何回も繰り返すと、どこか1回でも誤る確率が有意水準より大きくなる問題です。ボンフェローニ補正はその対策で、比べる回数を g として、1回ごとの有意水準を α÷g にします。
有意水準5％の検定を1回だけ行うなら、差がないのに差ありと判定する誤りの確率は5％です。各比較を α÷g で行えば、全体として誤る確率を α 以下に抑えられます。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。
補正なしで繰り返すとボンフェローニ補正の要点
補正なしで繰り返す
各検定を有意水準α（例: 5％）で行う。比べる回数が増えるほど、全体で1回でも誤る確率はαより大きくなる。
ボンフェローニ補正
比べる回数を g として、各検定を α÷g で行う。NISTは、各区間を 1−α÷g の信頼係数で作れば、全体の信頼係数が少なくとも 1−α になると説明する。
使える場面
NISTは、ボンフェローニ法を、比較の組を事前に選んだ有限個の場合に使う方法とする。すべての組を比べるならTukey法、すべての対比を同時に調べるならScheffé法を、別の方法として挙げる。
違いを表で確認
| 比較軸 | 補正なしで繰り返す | ボンフェローニ補正 |
|---|---|---|
| 1回の検定の水準 | 補正なし：α（例: 0.05）のまま | ボンフェローニ補正：α÷g（g=5なら0.05÷5＝0.01） |
| 全体で誤る確率 | 補正なし：比べる回数とともに増える。NISTは、すべての組を何度も比べても全体の水準は指定した水準にならないと述べる | ボンフェローニ補正：全体を α 以下に抑える（信頼区間では、全体の信頼係数が少なくとも 1−α） |
| 差を見つけやすさ | 補正なし：見つけやすい。ただし、誤って差ありと判定する数も増える | ボンフェローニ補正：基準が厳しくなり、見つけにくくなる。g が大きいほど厳しい |
| 判定の手順 | 補正なし：各検定のp値をαと比べる | ボンフェローニ補正：各検定のp値を α÷g と比べる。p値を g 倍して α と比べても同じ判定になる |
| 使う前の条件 | 補正なし：検定が1回なら補正は要らない | ボンフェローニ補正：比べる組を、データを見る前に決めておく。NISTは、有限個の組を事前に選んだ場合の方法と位置づける |
統計検定2級の学習に使う書籍（Amazon）
PR
統計検定2級対応のPythonデータ分析講座（Winスクール）
Pythonのpandas・NumPy・matplotlibを使い、記述統計、仮説検定、分散分析、回帰分析を手を動かして学ぶ講座です。オンラインでも受講でき、90分×18回で構成されています。
対象はPythonプログラミングの修了者か同程度の知識がある人で、統計の計算をPythonで実務に使いたい人に向いています。試験対策だけが目的なら、先にこのサイトの予想問題と模試で弱点の章を確かめてください。
無料の受講相談を見るどこで迷っているかを切り分ける
3群以上の平均を、2群ずつのt検定で何回も比べてしまった人
NISTのハンドブックは、すべての組をペアで何度も比べても、全体の有意水準は1組の比較で指定した水準になるとは限らず、一般にうまくいかないと述べます。3群以上の平均を比べるときは、先に分散分析のF検定で全体に差があるかを見て、どの平均が違うかは多重比較の手続きで調べます。
p値が0.03だった比較が、補正で有意でなくなった人
比べる回数が4回なら、基準は 0.05÷4＝0.0125 です。p値0.03は基準より大きいため、補正後は有意と言えません。補正は、回数が多いほど結論を慎重にする手続きです。
比べる組を、データを見てから決めた人
ボンフェローニ法は、比べる組を事前に選んだ場合の方法です。データを見て差の大きい組を選んだなら、事前に選んだ組とは言えません。NISTは、すべての組を比べるならTukey法、すべての対比を同時に調べるならScheffé法を挙げています。
補正すると、差があるのに見逃さないか心配な人
見逃しやすくなるのは事実です。基準を α÷g に厳しくする分、本当の差でも有意にならないことが増えます。誤りを抑える代わりに、差を見つける力は下がります。
具体例で使い分ける
例 1
検定を5回繰り返したときの、全体で誤る確率（架空のデータ）
どの比較でも本当は差がないとします。各検定の有意水準は5％で、5回の検定は互いに独立だと仮定します（この仮定は説明用です）。
- 補正なしでは、5回とも誤らない確率が 0.95の5乗＝約0.774 です。1回でも誤る確率は 1−0.774＝約0.226、つまり約22.6％になります。
- ボンフェローニ補正では、各検定を 0.05÷5＝0.01 で行います。1回でも誤る確率は 1−0.99の5乗＝約0.049 で、5％以下に収まります。
結論: 補正なしでは全体で約22.6％まで誤りが増えますが、ボンフェローニ補正なら約4.9％です。ボンフェローニ法の保証は独立の仮定に頼らず、全体を α 以下にします。
例 2
4回の比較のp値で、補正の判定を確かめる（架空のデータ）
4つの比較のp値が 0.030、0.012、0.008、0.200 でした。全体の有意水準は α＝0.05 です。
- 基準は 0.05÷4＝0.0125 です。0.008 と 0.012 は基準より小さく有意、0.030 と 0.200 は基準より大きく有意になりません。
- p値を4倍して0.05と比べても同じです。4倍した値は 0.12、0.048、0.032、0.8 で、0.05より小さいのは0.048と0.032です。
結論: 補正なしでは3つが有意（0.030、0.012、0.008）ですが、補正後に残るのは2つです。0.030の比較は、補正後は有意と言えません。
問題文から答えを選ぶ手順
- 1
検定を何回行うか数える
同じデータや同じ目的で行う検定の数 g を数えます。1回なら補正は要りません。群が k 個で全部の組を比べるなら、組の数は k×(k−1)÷2 です。
- 2
比べる組を決めた時点を確かめる
データを見る前に決めた有限個の組なら、ボンフェローニ法が使えます。データを見てから決めたなら、Tukey法などを検討します。
- 3
基準を割る
全体の有意水準 α を g で割り、α÷g を各検定の基準にします。
- 4
p値を基準と比べる
各検定のp値が α÷g より小さいものだけを有意とします。結果には、補正をしたことと g を書き添えます。
試験での見分け方
- 1検定を繰り返すと、全体で誤る確率は有意水準より大きくなる。
- 2ボンフェローニ補正は、各検定を α÷g で行い、全体を α 以下に抑える。
- 3比べる組は、データを見る前に決めておく。
- 4補正すると誤りは減るが、差は見つけにくくなる。
誤答しやすい選択肢
検定を何回行っても、各検定を5％で行えば全体も5％だと考える
修正: 各検定が5％でも、全体で1回でも誤る確率は回数とともに増えます。5回の検定を独立と仮定すると約22.6％です。
α÷g で割るとき、g に数えるのが1回分だけだと考える
修正: g は、同じ目的で行う検定や比較の総数です。4群のすべての組を比べるなら 4×3÷2＝6 回で、基準は 0.05÷6 になります。
補正すれば、どんな場面でも問題がなくなると考える
修正: ボンフェローニ法は、比べる組を事前に選んだ場合の方法です。データを見てから組を選ぶ場合は、選び方も含めて検定の数に入れる必要があります。
確認問題
Q1全体の有意水準を0.05として、4回の検定にボンフェローニ補正を行うと、各検定の基準は？
答え: 0.0125
α÷g＝0.05÷4＝0.0125 です。各検定のp値がこの値より小さいときだけ有意とします。
Q25つの群のすべての組を比べるとき、比べる組の数は？
答え: 10組
k×(k−1)÷2 に k＝5 を入れて、5×4÷2＝10 です。ボンフェローニ補正をするなら g＝10 になります。
Q3ボンフェローニ補正を使うと、全体で誤る確率はどうなる？
答え: 全体を α 以下に抑えられる
NISTは、各区間を 1−α÷g の信頼係数で作れば、全体の信頼係数が少なくとも 1−α になるとします。誤りを抑える代わりに、差を見つけにくくなります。
到達チェック
- 検定を繰り返すと全体の誤りが増える理由を言える
- ボンフェローニ補正が、各検定を α÷g で行う方法だと言える
- 比べる組を事前に決める必要があると言える
関連ページで確認する
同じ資格で次に知りたいこと
- F検定とt検定の違い｜分散の比を調べる検定と平均の差を調べる検定
F検定とt検定の違いを、検定する対象（分散の比と平均の差）、検定統計量の式、自由度の決め方、2標本のデータでの使い分けまで、統計検定2級向けに計算例つきで整理します。
- 2つの比率の差のz検定と2×2のカイ二乗検定の違い｜A/Bテストの結果をどちらで判定するか（統計検定2級）
A/Bテストのように2群の「した・しない」の割合を比べるとき、2つの母比率の差のz検定と、2×2表のカイ二乗検定は同じ判定になります。z²＝χ²の関係を数値例で確かめ、片側検定ができるのはどちらか、3群以上に広げられるのはどちらかで使い分けを整理。確認問題つき。
- 平均値・中央値・最頻値の違い｜分布の形で選ぶ代表値
平均値・中央値・最頻値の違いを、求め方、外れ値への強さ、右に裾が長い分布と左に裾が長い分布での大小関係、度数分布表からの求め方まで、統計検定2級向けに数値例で整理します。
よくある質問
Qボンフェローニ補正は、統計検定2級に出る？
公式の出題範囲表（grade2_hani_20181214.pdf）の項目名には、多重比較やボンフェローニ補正は挙がっていません。2級で問われるのは、分散分析やF比などです。補正は、分散分析のあとに群を比べる場面を理解するための補足として読んでください。
Q分散分析のあとで、どの群が違うかはどう調べる？
NISTのハンドブックは、F検定で差があると分かっても、どの平均が違うかは多重比較の手続きで調べるとします。事後に全部の組を比べるならTukey法、事前に選んだ組ならボンフェローニ法を挙げています。
Q補正で割る数 g は、どう決める？
同じ目的で行う検定や比較の総数です。群が k 個で全部の組を比べるなら k×(k−1)÷2 を使います。数え間違えると基準が甘すぎたり厳しすぎたりします。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: AI資格ドリル編集部（運営者情報を見る）