統計検定2級の層別とシンプソンのパラドックス

結論

1. シンプソンのパラドックスは、集団全体の関連が、部分集団に分けると消える、または逆転する現象
2. 層ごとの相関係数が正でも、層の位置がずれていれば、全体の相関係数は負になる
3. 割合でも同じで、層ごとに薬Aが上回っても、全体では薬Bが上回ることがある
4. 原因は、層の大きさ（人数）が群ごとに偏っていること
5. 全体と層別のどちらを読むかは、計算ではなくデータの背景で決める

相関係数の向きが逆になる例

2つの層A・Bに、5組ずつの（x, y）があります。各層の中ではxが増えるとyも増えます。

相関係数は、偏差の積の和÷√(xの偏差平方和×yの偏差平方和)で求めます。

1. A層：偏差の積の和4.8、xの偏差平方和5.2、yの偏差平方和5.2。r＝4.8÷5.2≒0.923
2. B層：A層と同じ4.8、5.2、5.2。r≒0.923
3. 全体（平均は5.1と6.4）：偏差の積の和−65.4、xの偏差平方和72.9、yの偏差平方和100.4。r＝−65.4÷√(72.9×100.4)≒−0.764

各層では相関係数が+0.923なのに、10組をまとめると−0.764になります。層の中の関係と、層どうしの位置のずれが、逆向きに働いた結果です。散布図を層で色分けすると、右上がりの2本の点列が、右下がりに並んで見えます。これが「層別した散布図」を描く意味です。

成功率が逆転する例

同じ現象は、クロス集計表の割合でも起こります。薬Aと薬Bの効いた人数を、症状の重さで分けて比べます。

軽症でも重症でも薬Aの方が高いのに、全体では薬Aが45%、薬Bが75%になります。全体の割合は、層の割合を人数で重みづけした平均です。薬Aは重症の人が90人、薬Bは20人と、重症の人数の偏りが大きく違います。重症は効きにくい層なので、重症の多い薬Aの全体の割合が下がります。クロス集計表の読み方はクロス集計表のページで確かめられます。

なぜ逆転するのか

逆転が起きる条件は、層を決める変数（症状の重さ、A層かB層か）が、2つの変数の両方と関係していることです。

• 相関の例：A層はxが小さくyが大きく、B層はxが大きくyが小さい。層の位置が、右下がりに並んでいる
• 割合の例：重症の人が薬Aに集まり、重症は効きにくい。層の人数の偏りが、全体の割合を動かしている

全体で見えた関係が、層を決める第3の変数による「みかけの相関（擬相関）」の場合があります。第3の変数の影響を取り除いて相関を見る方法に、偏相関係数があります。計算式は偏相関係数と相関係数の比較に、第3の変数の呼び方は交絡変数と潜在変数の比較にまとめています。

全体と層別のどちらを読むか

2つの結果が食い違ったとき、数字の計算だけでは決まりません。データがどう生まれたかで決めます。

• 層を決める変数が、2つの変数の両方に影響する背景（症状の重さなど）なら、層別の結果を読む
• 層を決める変数が、処理の結果として生まれたもの（たとえば薬で変わった後の検査値）なら、層別せず全体を読む

このページの2つの例では、症状の重さやA層・B層が、背景にあたる変数です。試験では、背景の変数があるかどうかを、問題文の設定から読み取ることになります。

問題文から読み取る

このページの計算例から導いた読み方です。出題を予想するものではありません。

• 「全体では負の相関だが、グループ別にはどちらも正の相関」とあれば、層別した散布図で見る場面
• 全体の割合は、層の割合を層の人数で重みづけした平均として計算できる
• 層の人数の偏りが2群で大きく違うときは、全体の割合の比較に注意する
• 「第3の変数の影響」とあれば、みかけの相関（擬相関）か、偏相関係数の場面

よくある質問

次に読むと効率的なページ