DS検定の正規分布と標準化（Zスコア・偏差値）

Zスコアと偏差値の換算、正規分布での上位の割合

1. 標準化は、各値から平均を引き、標準偏差で割る変換。変換後の平均は0、分散は1になる
2. 標準化した値（Zスコア）は、平均より標準偏差の何個ぶん上か下かを表す。Z=2なら標準偏差2つぶん上
3. 偏差値は、Zスコアを10倍して50を足した値で、平均50・標準偏差10になる。偏差値70はZ=2にあたる
4. 正規分布を仮定すると、偏差値70は上から約2.3％、偏差値60は約15.9％の位置
5. 標準化は分布の形を変えない。外れ値があると平均と標準偏差が動き、ほかの値のZスコアも変わる

8人の点数でZスコアを計算

8人の点数が2、4、4、4、5、5、7、9点だったとします。合計は40点なので平均は5点です。平均との差（偏差）を2乗して足すと、9＋1＋1＋1＋0＋0＋4＋16で32になり、8人で割った分散は4、標準偏差は2です。各人のZスコアは、(点数−5)÷2で求めます。

Zスコアの8個を足すと、−1.5−0.5×3＋0＋0＋1＋2で0になり、平均は0です。2乗の合計は、2.25＋0.25×3＋0＋0＋1＋4で8なので、8人で割った分散は1です。標準化すると、元の平均や標準偏差がいくつでも、平均0・分散1にそろいます。この平均0・分散1が、標準正規分布の平均と分散です。2教科のように単位や散らばりの違うデータを比べるときの計算は、データクレンジングのページでも確認できます。

偏差値はZスコアの10倍に50を足す

総務省統計局の解説では、偏差値は、平均が50、標準偏差が10になるように変換した値です。自分の得点と平均の差を標準偏差で割って標準化し、それを10倍して50に足します。式にすると、偏差値＝50＋10×Zスコアです。

平均の5点が偏差値50、標準偏差2つぶん上の9点が偏差値70です。統計局の解説の例では、数学の平均42点・標準偏差8点で58点を取ると、(58−42)÷8＝2で偏差値70です。国語の平均47点・標準偏差12点で65点なら、(65−47)÷12＝1.5で偏差値65です。点数は国語のほうが高くても、偏差値は数学のほうが高い、という比べ方ができます。この比べ方は、標準化と偏差値の違いを扱う標準化と偏差値の違いのページでも整理しています。

正規分布と標準化の理解は、問題を解いて確かめられます。DS検定の問題で確かめる

偏差値と上から何％の位置か

点数の分布が正規分布だと仮定すると、Zスコアから「上から何％の位置か」を標準正規分布の表で読めます。統計局の解説によると、偏差値70は平均より標準偏差2つぶん上にあたり、上から約2.3％の位置です。ほかの偏差値も、同じ表で次のように読めます。

偏差値50は上から50％、偏差値60は上から約16％、偏差値70は上から約2％です。平均から標準偏差1つぶん以内に約68％、2つぶん以内に約95％という目安と同じ表の読み方です。5つの代表的な分布の使い分けは代表的な確率分布5つのページ、統計検定2級の標準正規分布表を使った確率の求め方は統計検定2級の正規分布のページで扱っています。DS検定のこのページは、表を引く計算ではなく、Zスコアの意味と平均0・分散1を理解する範囲です。

外れ値と標準偏差の選び方

標準化は平均と標準偏差で決まるので、外れ値があると全員のZスコアが動きます。さきほどの8人のうち、9点の人が49点だったとします。平均は10点、偏差の2乗の合計は1,752で、分散は219、標準偏差は約14.8点に跳ね上がります。

49点のZスコアは39÷14.8で約2.64ですが、ほかの7人は−0.54から−0.20までに集まります。4点と7点のZスコアの差は、外れ値がない場合は1.5でしたが、約0.2に縮みます。外れ値が1つあるだけで、ほかの値どうしの違いが標準化後に見えにくくなります。標準化の前に外れ値の扱いを決める理由です。外れ値や欠損値の対応はデータクレンジングのページにまとめています。

標準偏差の割り方にも種類があります。ここでは8人全員を対象にしてnで割りましたが、標本として不偏分散（n−1で割る）を使うと、分散は32÷7で約4.57、標準偏差は約2.14になります。9点のZスコアは2ではなく約1.87です。母集団全体か標本かの違いは標本平均・不偏分散のページで確認できます。機械学習の前処理では、scikit-learnの公式文書が、訓練データで求めた平均と標準偏差を、あとからテストデータにも同じ変換として適用できると説明しています。テストデータで平均を求め直さないことが、手順の約束です。

よくある質問

次に読むと効率的なページ