第4章 統計・推定・検定(統計数理基礎)
DS検定の代表的な確率分布5つ
DS検定(リテラシーレベル)の統計数理基礎には、5つ以上の代表的な確率分布を説明できることが、★1つ星の項目として入っています。このページでは、二項分布・ポアソン分布・正規分布・指数分布・一様分布の5つについて、何を表す分布か、平均と分散はいくつか、どんな問いに使うかを、同じ数字の例で確かめます。確率分布は、数える対象が回数か、時間か、量かで選びます。
このページは試験の学習用の整理です。数値はすべて説明用の架空の例です。
この記事の目次
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
二項・ポアソン・正規・指数・一様分布の使い分けと平均
- 成功回数を数える分布が二項分布。試行回数nと成功確率pが決まっているときに使い、平均はnp
- 一定の時間に起きる出来事の回数がポアソン分布。平均と分散が同じ値λになる
- 平均のまわりに左右対称に散らばる量が正規分布。平均から標準偏差1つぶん以内に約68%、2つぶんで約95%、3つぶんで約99.7%
- 次の出来事までの待ち時間が指数分布。ポアソン分布と同じλで、平均の待ち時間は1/λ
- 範囲内のどこも同じ確率なのが一様分布。aからbなら平均は(a+b)/2
5つの分布の早見表
公式のチェックリストは「5つ以上」と書くだけで、どの分布かは指定していません。ここでは、統計の入門で標準的な5つを選びました。まず、何を表す分布かを言えることが、説明できるということです。
| 分布 | 何を表すか | 取る値 | 平均 | 分散 |
|---|---|---|---|---|
| 二項分布 | 成功の確率pの試行をn回くり返したときの成功回数 | 0〜nの整数 | np | np(1−p) |
| ポアソン分布 | 一定の時間や範囲に起きる出来事の回数(まれな出来事) | 0以上の整数 | λ | λ |
| 正規分布 | 平均のまわりに左右対称に散らばる量(身長・テストの点など) | 連続(実数) | μ | σ² |
| 指数分布 | 出来事が次に起きるまでの待ち時間 | 0以上の連続値 | 1/λ | 1/λ² |
| 一様分布 | 範囲内のどの値も同じ確率で出る量 | aからbの連続値 | (a+b)/2 | (b−a)²/12 |
二項分布のnは試行回数、pは成功確率です。ポアソン分布と指数分布のλは、1つの時間あたりに平均して起きる回数です。正規分布のμは平均、σは標準偏差で、分散はσの二乗です。
回数を数える分布(二項・ポアソン)
二項分布の例です。不良品の確率が0.3の部品を10個調べて、不良品の個数を数えます。n=10、p=0.3なので、平均は10×0.3=3個、分散は10×0.3×0.7=2.1です。ちょうど3個になる確率は、10個から3個を選ぶ組合せ120通りに、0.3の3乗と0.7の7乗を掛けて、約0.267です。
| 不良品の個数 | 確率 |
|---|---|
| 0回 | 約0.028(2.8%) |
| 3回 | 約0.267(26.7%) |
| 5回 | 約0.103(10.3%) |
ポアソン分布の例です。問い合わせが1時間に平均2件届くとき、次の1時間の件数はλ=2のポアソン分布で表せます。0件の確率は、2.718…の−2乗で約0.135です。1件と2件はどちらも約0.271、3件は約0.180になります。ポアソン分布は平均も分散も2で、平均と分散が等しいことが特徴です。二項分布との違いは、試行回数が決まっていない点です。問い合わせは、1時間に何回「届くかどうか」を試しているわけではなく、起きた回数だけがわかります。
| 1時間の問い合わせ件数 | 確率(λ=2) |
|---|---|
| 0件 | 約0.135(13.5%) |
| 1件 | 約0.271(27.1%) |
| 2件 | 約0.271(27.1%) |
| 3件 | 約0.180(18.0%) |
量や時間を測る分布(正規・指数・一様)
正規分布は、平均を中心に左右対称の釣り鐘の形になる分布です。平均から標準偏差1つぶん以内に約68%(正確には68.27%)、2つぶん以内に約95%(95.45%)、3つぶん以内に約99.7%(99.73%)が入ります。平均60点・標準偏差10点の試験なら、50点から70点に約68%、40点から80点に約95%の人が入ります。80点は平均より標準偏差2つぶん上なので、80点以上は約2.3%です。平均を引いて標準偏差で割る標準化をすると、どの正規分布も標準正規分布(平均0・分散1)で読めます。
指数分布は、出来事が次に起きるまでの待ち時間です。さきほどの問い合わせがλ=2(1時間に平均2件)なら、平均の待ち時間は1÷2=0.5時間、つまり30分です。30分より長く待つ確率は、2.718…の−1乗で約0.368、1時間より長く待つ確率は−2乗で約0.135です。ポアソン分布の「0件」の確率0.135と一致するのは、1時間待っても1件も届かない事象と、1時間より長く待つ事象が同じ意味だからです。
一様分布は、範囲の中のどの値も同じ確率で出る分布です。0以上10以下なら、平均は5、分散は10の2乗÷12で約8.33です。3以下になる確率は、範囲10のうちの3なので0.3です。乱数の出力のように、どこが出ても同じという場面で使います。
DS検定の学習に使う書籍(Amazon)
PR問いから分布を選ぶ
試験では、分布の名前を直接聞かれるより、場面を読んでどの分布かを選ぶ形が考えられます。次の5つの問いで、判断の手がかりを確かめます。回数を数えるのか、待ち時間を測るのか、量が散らばるのかを最初に見分けます。
| 問い | 分布 | 選ぶ手がかり |
|---|---|---|
| 不良品の確率が0.1の部品を20個調べて、不良品が3個出る確率は? | 二項分布 | 試行回数20と成功確率0.1が決まっていて、成功回数を数える |
| 1時間に平均2件届く問い合わせが、次の1時間で0件の確率は? | ポアソン分布 | 試行回数は決まらず、一定時間の発生回数を数える |
| 問い合わせが届いてから、次の1件が届くまでの待ち時間が30分を超える確率は? | 指数分布 | 回数ではなく、次に起きるまでの時間を測る |
| 乱数で0以上10未満の値を出すとき、3以下になる確率は? | 一様分布 | 範囲内のどこも同じ確率なので、長さの比3÷10で決まる |
| 平均60点・標準偏差10点の試験で、80点以上の人の割合は? | 正規分布 | 平均のまわりに左右対称に散らばる量で、標準化して読む |
二項分布は、試行回数を増やすと正規分布に近づきます。その計算は 標本平均・不偏分散・標準正規分布のページで扱っています。
よくある質問
DS検定の確率分布は、どの分布が出題されますか?
公式スキルチェックリスト(data_science.csv)の統計数理基礎に、★1つ星で「5つ以上の代表的な確率分布を説明できる」があります。どの分布かは公式は指定していません。当サイトでは、統計の入門で標準的な二項分布・ポアソン分布・正規分布・指数分布・一様分布を、それぞれ何を表す分布かを言えるようにする範囲で整理しています。
二項分布とポアソン分布の違いは何ですか?
二項分布は、試行回数nと成功確率pが決まっているときの成功回数です。ポアソン分布は、試行回数が決まらず、一定の時間や範囲に起きる出来事の回数で、平均と分散が同じ値λになります。1時間の問い合わせ件数のように、起きる回数だけがわかるときはポアソン分布です。
ポアソン分布と指数分布は、どう関係しますか?
同じ出来事を、回数で見るか待ち時間で見るかの違いです。1時間に平均2件届く問い合わせの件数はポアソン分布、次の1件が届くまでの待ち時間は指数分布で表せます。このとき平均の待ち時間は、2件の逆数の0.5時間(30分)です。
正規分布の68%・95%・99.7%とは何ですか?
平均から標準偏差の1つぶん以内に約68%、2つぶん以内に約95%、3つぶん以内に約99.7%の値が入るという目安です。詳しい値は68.27%・95.45%・99.73%です。平均60点・標準偏差10点の試験なら、50点から70点に約68%の人が入ります。
