第4章 統計・推定・検定（統計数理基礎）
DS検定のピアソンの相関係数の分母と分子
DS検定（リテラシーレベル）の統計数理基礎には、ピアソンの相関係数の分母と分子を説明できることと、変数が量的でも質的でも関係の強さを算出できることが、★1つ星の項目として入っています。このページでは、5人の学習時間と点数を使って、分子と分母を手計算で確かめます。順位やカテゴリの関係の強さも、小さな例で確認します。相関係数は、分子で一緒に動く向きと大きさを集め、分母で単位の影響を消した値です。
このページは試験の学習用の整理です。数値はすべて説明用の架空の例です。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
ピアソンの相関係数の分子・分母・計算例・注意点
- 分子は、xとyの偏差（平均からのずれ）を掛けて合計した値。同じ向きにずれる人が多いほど大きくなる
- 分母は、xの偏差平方和とyの偏差平方和を掛けて平方根を取った値。単位を打ち消して、結果を−1から＋1に収める
- 5人の例では、分子85、分母は約86.6で、相関係数は約0.98。学習時間が長いほど点数が高い直線的な関係が強い
- 相関係数が測るのは直線的な関係だけ。U字の関係は0になり、外れ値1点で大きく変わるので、散布図とあわせて見る
- 量的でない変数は、順位ならスピアマンの順位相関係数、カテゴリならクラメールのVで関係の強さを出す
分子と分母を5人の例で計算
5人の学習時間（x）と試験の点数（y）を使います。学習時間は1・2・3・4・5時間、点数は50・55・65・70・85点です。平均は、学習時間が3時間、点数が65点です。各人について、平均からのずれ（偏差）を求め、その積と二乗を並べます。
| 人 | 学習時間x | 点数y | xの偏差 | yの偏差 | 偏差の積 | xの偏差² | yの偏差² |
|---|---|---|---|---|---|---|---|
| A | 1 | 50 | -2 | -15 | 30 | 4 | 225 |
| B | 2 | 55 | -1 | -10 | 10 | 1 | 100 |
| C | 3 | 65 | 0 | 0 | 0 | 0 | 0 |
| D | 4 | 70 | 1 | 5 | 5 | 1 | 25 |
| E | 5 | 85 | 2 | 20 | 40 | 4 | 400 |
| 合計 | 85 | 10 | 750 |
SciPyの公式文書にある式では、相関係数rは、分子が(x−xの平均)×(y−yの平均)の合計、分母が(x−xの平均)²の合計と(y−yの平均)²の合計を掛けた値の平方根です。表の合計を入れると、分子は85、分母は√(10×750)＝√7500で約86.6、r＝85÷86.6で約0.98になります。偏差の積が正の人が多いほど、分子は大きくなります。学習時間が平均より長い人は点数も平均より高く、短い人は低いので、積がほぼすべて正かゼロです。
分子を人数マイナス1（n−1）で割ると共分散です。分母をn−1で割った形は、xの標準偏差とyの標準偏差の積になります。つまり、相関係数は共分散を標準偏差の積で割った値と同じです。nで割る版でも、分子と分母に同じ数が掛かるので、結果は変わりません。5人の例では、n−1で割った共分散が85÷4＝21.25、標準偏差が約1.58と約13.69で、21.25÷(1.58×13.69)も約0.98です。
単位・外れ値・曲線の関係での注意
単位を変えても値は変わりません。学習時間を「分」に直して60、120、180、240、300にしても、相関係数は同じ約0.98です。分子と分母の両方に同じ倍率が掛かって、打ち消し合うためです。共分散だけを見ると単位に左右されるので、比べるときは相関係数を使います。
外れ値1点で大きく変わります。さきほどの5人に、学習時間6時間で点数20点の人を1人加えると、相関係数は約0.98から約−0.13になります。1点が平均から大きくはずれると、偏差の積の合計の向きが変わります。計算の前に散布図を描いて、外れた点がないかを見ます。
直線でない関係は、0に近くなることがあります。xが−2・−1・0・1・2のとき、yが4・1・0・1・4だとします。yはxの二乗で決まっていますが、xの平均は0、yの平均は2で、偏差の積は−4・1・0・−1・4となり、合計が0です。相関係数は0ですが、関係がないわけではありません。相関係数が0でも「無関係」とは言えません。SciPyの公式文書も、ピアソンの相関係数が測るのは2つのデータの線形の関係だと説明しています。
量的でない変数の関係の強さ
公式のチェックリストには、変数が量的でも質的でも関係の強さを算出できる、という項目もあります。ピアソンの相関係数は量的な変数向けなので、順位やカテゴリの変数には別の指標を使います。
順位のとき：スピアマンの順位相関係数。5つの商品を、満足度の順位と利用頻度の順位で並べるとします。満足度の順位が1・2・3・4・5のとき、利用頻度の順位が2・1・4・3・5だったとします。順位の差dは−1・1・−1・1・0で、dの二乗の合計は4です。順位に同順位がないときの式は、1−6×(dの二乗の合計)÷(n×(n²−1))です。1−6×4÷(5×24)＝0.8になります。SciPyの公式文書では、スピアマンの順位相関係数は2つのデータの関係の単調さを測り、−1から＋1の値を取ると説明しています。
カテゴリのとき：クラメールのV。100人を、会員か非会員か、商品を購入したかしないかで分けます。会員で購入が30人、会員で購入なしが20人、非会員で購入が10人、非会員で購入なしが40人です。会員が50人、非会員が50人、購入した人が40人、しない人が60人なので、独立なら各マスの期待人数は20・30・20・30人です。カイ二乗統計量は、(30−20)²÷20＋(20−30)²÷30＋(10−20)²÷20＋(40−30)²÷30＝5＋3.33＋5＋3.33で約16.67になります。2×2の表では、クラメールのVはカイ二乗統計量を人数で割って平方根を取った値なので、√(16.67÷100)で約0.41です。クラメールのVは0から1の値で、向きは持ちません。SciPyの公式文書では、名義変数どうしの関連の度合いを測る指標とされています。
相関係数の理解は、問題を解いて確かめられます。DS検定の問題で確かめる
DS検定の学習に使う書籍（Amazon）
PR
変数の種類から指標を選ぶ
関係の強さを出すときは、まず2つの変数がどんな尺度かを見ます。尺度の見分け方は名義・順序・間隔・比例尺度のページで扱っています。量的ならピアソン、順位ならスピアマン、カテゴリならクラメールのVです。
| 2つの変数 | 指標 | 値の範囲 | 読み取れること |
|---|---|---|---|
| どちらも量的（身長と体重、学習時間と点数） | ピアソンの相関係数 | −1〜＋1 | 直線的な関係の強さと向き |
| 順位や段階（満足度の順位、5段階評価） | スピアマンの順位相関係数 | −1〜＋1 | 一方が増えるともう一方も増える（減る）という単調な関係 |
| どちらもカテゴリ（会員か非会員か、購入したかしないか） | クラメールのV | 0〜1 | 関連の度合い（向きは無い） |
どの指標も、強い関係があることは示しても、原因と結果の関係までは示しません。相関と因果の違いは因果推論のページで確認できます。
よくある質問
ピアソンの相関係数の分母と分子は、何ですか？
分子は、x・yそれぞれの平均からのずれ（偏差）を掛けて合計した値です。分母は、xの偏差平方和とyの偏差平方和を掛けて平方根を取った値です。5人の例では、分子が85、分母が√(10×750)＝約86.6で、r＝約0.98になります。
相関係数が0なら、2つの変数に関係はありませんか？
関係がないとは限りません。ピアソンの相関係数が測るのは直線的な関係です。xが−2から2のとき、yが4・1・0・1・4となる左右対称のU字の関係は、偏差の積の合計が0になり、相関係数は0ですが、yはxで決まっています。散布図も合わせて確認します。
相関係数が高いと、因果関係があると言えますか？
言えません。相関係数は一緒に増減する強さを表すだけで、片方が原因とは限りません。第三の要因が両方に影響している場合もあります。因果関係の考え方は、因果推論のページで扱っています。
質的変数どうしの関係の強さは、どう求めますか？
2つのカテゴリ変数なら、クロス集計表のカイ二乗統計量から求めるクラメールのVが代表的な指標です。0から1の値で、1に近いほど関連が強いことを示します。2×2の表では、ファイ係数の絶対値と同じ値になります。