第5章 データ準備・可視化技法とモデル化（データ準備）
DS検定の外れ値・欠損値・標準化の計算例
DS検定（リテラシーレベル）の公式スキルチェックリストのデータ準備には、外れ値・異常値・欠損値の検出と対応、標準化、ダミー変数への変換が、★1つ星の項目として入っています。用語だけを覚えると、数字を示されたときに何を計算すればよいか迷うので、このページでは、4つの操作を小さな架空の数字で1回ずつ計算します。データクレンジングは、値を直す作業というより、分析結果がゆがまないように、データの状態をそろえる作業です。
このページは試験の学習用の整理です。数字はすべて説明用の架空の値です。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-10-02。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- 外れ値は、四分位範囲を使った境界の外にある値を候補として見つけ、原因を確かめてから除去・変換・そのまま使うを決める
- 欠損値を平均値で埋めると平均は変わらないが、ばらつき（分散）は小さくなる
- 標準化は「平均を引いて標準偏差で割る」変換で、単位の違う値を同じ物差しで比べられる
- ダミー変数は、名義尺度の水準ごとに0か1の列を作る変換
外れ値の見つけ方
公式チェックリストは、外れ値・異常値・欠損値とは何かを理解し、指示のもとで適切に検出と除去・変換などの対応ができることを★1つ星としています。外れ値を見つける目安の1つが、四分位範囲を使う方法です。
12件の注文金額（千円）から、第1四分位が15、第3四分位が21と求まったとします。四分位範囲は21−15＝6です。四分位範囲の1.5倍は9なので、境界は下側が15−9＝6、上側が21＋9＝30になります。この範囲の外にある値が外れ値の候補です。注文金額に60があれば、上側の境界30を超えているので候補になります。1.5倍は広く使われる目安で、公式チェックリストが定めた値ではありません。
候補になったら、すぐに消さず、まず原因を確かめます。桁を間違えて入力した値なら、直すか除きます。法人の大口注文という実際の値なら、消すと実態を見失います。除去、変換（対数変換など）、そのまま使うのどれにするかは、データの特性と分析目的で決めます。この判断を自分で行う項目は、★2つ星に入っています。
欠損値を平均値で埋めると
欠損値は、本来あるはずの値が入っていない状態です。対応の1つに、列の平均値で埋める方法があります。5件の売上が40、45、50、55、60（万円）で、ほかに2件が欠損していたとします。
- 欠損を除いた5件の平均は250÷5＝50。偏差（平均との差）は−10、−5、0、5、10で、2乗の合計は100＋25＋0＋25＋100＝250なので、2乗の合計を件数で割る分散は250÷5＝50
- 欠損2件を平均50で埋めた7件の平均は50のまま。偏差が0の値が2件増えるだけで、2乗の合計は250のままなので、分散は250÷7＝約35.7
平均は変わらないのに、分散が50から約35.7へ小さくなりました。埋めた値が全部平均と同じなので、データが実際よりまとまって見えます。欠損の数が多いほど、この影響は大きくなります。
標準化
公式チェックリストは、標準化とは何かを理解し、適切に標準化が行えることを★1つ星としています。標準化は、値から平均を引き、標準偏差で割る変換で、結果は平均0・標準偏差1になります。
| 教科 | 得点 | 平均 | 標準偏差 | 標準化した値 |
|---|---|---|---|---|
| 数学 | 70点 | 50点 | 10点 | (70−50)÷10＝2 |
| 英語 | 60点 | 40点 | 5点 | (60−40)÷5＝4 |
素点は数学の70点のほうが高く見えますが、標準化すると数学は2、英語は4です。英語のほうが、その教科の平均から標準偏差で4つ分も離れているので、集団の中での位置は英語のほうが高いと読めます。標準化は、単位やばらつきの違う値を、同じ物差しで比べるための変換です。
ダミー変数
公式チェックリストは、名義尺度の変数をダミー変数に変換できることを★1つ星としています。名義尺度は、東京・大阪・名古屋のように、順序や大小に意味がない区分です。この区分を1、2、3の数字に置き換えると、「名古屋は東京の3倍」のような意味のない大小関係が生じてしまいます。そこで、水準ごとに0か1の列を作ります。
| 支店 | 東京 | 大阪 | 名古屋 |
|---|---|---|---|
| 東京 | 1 | 0 | 0 |
| 大阪 | 0 | 1 | 0 |
| 名古屋 | 0 | 0 | 1 |
3つの水準に3列を使う形です。回帰分析などでは、基準になる1水準の列を省いて、水準数より1つ少ない2列で表すこともあります。省いた水準は、残りの列がすべて0の行として表せます。
DS検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
よくある質問
DS検定で、外れ値・欠損値の処理はどこまで必要ですか？
公式スキルチェックリスト（data_science.csv）のデータクレンジングで★1つ星なのは、外れ値・異常値・欠損値とは何かを理解し、指示のもとで適切に検出と除去・変換などの対応ができることです。データの特性や分析目的、モデルの特性を考えて対応方針を自分で決める項目は★2つ星に入っています。
外れ値は、見つけたらすぐ削除しますか？
すぐには削除しません。外れ値の候補は、入力ミスの場合も、実際に起きた極端な値の場合もあります。境界の外にあるというだけで消すと、本当に起きた出来事を失うおそれがあります。まず原因を確かめ、除去するか、変換するか、そのまま使うかを分析目的に合わせて決めます。
標準化とは何ですか？
データから平均を引き、標準偏差で割って、平均0・標準偏差1にそろえる変換です。単位や大きさが違う変数を同じ物差しで比べるために使います。公式チェックリストのデータ加工に、標準化とは何かを理解し、適切に行えることが★1つ星で入っています。
ダミー変数は、なぜ必要ですか？
支店名のような名義尺度の変数は、そのままでは計算に使いにくいためです。公式チェックリストに、名義尺度の変数をダミー変数に変換できることが★1つ星で入っています。各水準に1列を割り当て、当てはまれば1、当てはまらなければ0にします。