用語比較
欠損値と外れ値の違い|値がない問題と値が極端な問題の扱い方(DS検定)
欠損値は、値そのものが入っていない状態です。外れ値は、値は入っているが、ほかの値から統計的に大きく離れた極端な値です。どちらもデータの前処理で扱いますが、問題の起き方が違うため、対処の選択肢も変わります。
DS検定の公式スキルチェックリストの★1つ星No.106は、外れ値・異常値・欠損値とは何かを理解し、指示のもと適切に検出と除去・変換などの対応ができることを求めています。3つが別の概念として並べられている点が、ここで確認する中心です。
このページは、欠損値の補完と外れ値の除去を同じ「データの掃除」として混ぜてしまう人向けです。何が問題か、見つけ方、対処の三つの軸で比べます。
この記事の目次
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。DS検定の一次情報確認日: 2026-10-02。
結論
欠損値
値が入っていない状態。行や列をすべて捨てる方法は基本的な対処だが、不完全でも価値のあるデータを失う代償がある。既知の部分から値を推測して補う補完(平均値・中央値・最頻値・定数など)も選べる。
外れ値
値は入っているが、統計的に極端な値。箱ひげ図で、四分位範囲から定めたフェンスを越える点を外れ値候補として示す方法がある。対応は除去や変換など。
異常値
入力ミスや測定機器の故障など、原因が明確な誤データ。統計的に極端な値である外れ値とは区別される。
違いを表で確認
| 比較軸 | 欠損値 | 外れ値 |
|---|---|---|
| 何が問題か | 欠損値:値がない。そのままでは計算や学習に使えないことがある | 外れ値:値はあるが極端で、平均や分散などの集計を引っぱる |
| 見つけ方 | 欠損値:空欄の有無と、列ごとの欠損の割合を確認する | 外れ値:箱ひげ図の四分位範囲から定めたフェンスを越える点を候補にする |
| 対処の選択肢 | 欠損値:行や列の削除、平均値・中央値・最頻値・定数などでの補完 | 外れ値:除去や変換。原因が誤りか確認してから決める |
| 注意する偏り | 欠損値:欠損データの除外で選択バイアスが生じる可能性がある | 外れ値:平均と分散を使うスケーリングがうまく働きにくくなる |
DS検定の学習に使う書籍(Amazon)
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
欠損値は、とりあえず削除すればよいと考えている人
scikit-learn公式ドキュメントは、欠損値を含む行や列をすべて捨てる方法を基本的な対処としつつ、価値のあるデータを失う代償があると述べます。補完という選択肢も合わせて検討します。
外れ値と異常値を同じ意味で使っている人
異常値は入力ミスや測定機器の故障など原因が明確な誤データで、外れ値は統計的に極端な値です。原因を確認できるかが、区別の手がかりになります。
外れ値が多いデータで標準化を使う人
scikit-learn公式ドキュメントは、外れ値が多いデータでは、平均と分散を使うスケーリングはうまく働きにくいため、中心と範囲のより頑健な推定値を使うRobustScalerを代わりに使えると述べます。
具体例で使い分ける
例 1
アンケートの年収欄が空欄の回答がある場合
一部の回答者が年収欄に何も入力していない場面です。
- 値が入っていない状態なので、欠損値です。
- 対処は、行の削除か、平均値や中央値などでの補完を選びます。
結論: 値がないことが問題なので、削除か補完で扱います。
例 2
箱ひげ図のフェンスを大きく越える点がある場合
売上のデータに、ほかより桁の大きい値が1件含まれている場面です。
- NISTは、箱ひげ図の中央値と上下四分位数、四分位範囲から定めたフェンスを越える点を、外れ値候補として示します。
- 原因が入力ミスなら異常値、実際の大きな取引なら外れ値として扱います。
結論: 値はあるが極端なので外れ値の候補です。原因を確認して除去か変換を決めます。
例 3
欠損のある行を除外して分析を進める場合
欠損データを含む行を取り除いてから、集計を行う場面です。
- 公式スキルチェックリストの★1つ星No.49は、欠損データの除外時などに選択バイアスが生じる可能性があることの理解を求めます。
- 除外した行が偏っていると、残ったデータが元の集団を代表しなくなります。
結論: 欠損値の除外は、選択バイアスの可能性を確認してから行います。
問題文から答えを選ぶ手順
- 1
値の有無を確認する
値が入っていなければ欠損値、入っていて極端なら外れ値の候補です。
- 2
原因を確認する
入力ミスや測定機器の故障など原因が明確なら異常値です。原因が確認できない極端な値は外れ値として扱います。
- 3
対処の影響を確認する
欠損値の削除は価値のあるデータを失い、選択バイアスの可能性があります。外れ値の除去は、集計や標準化への影響を見て決めます。
試験での見分け方
- 1値がない状態は、欠損値。対処は削除か補完。
- 2値があって統計的に極端なのは、外れ値。対処は除去や変換。
- 3原因が入力ミスや故障と明確なら、異常値。
誤答しやすい選択肢
欠損値を平均値で補完する方法と、外れ値を除去する方法を、同じ処理だと考える
修正: 欠損値は値がない問題、外れ値は値が極端な問題です。前者は削除か補完、後者は除去や変換と、対処の選択肢が異なります。
極端な値は、すべて除去してよいと考える
修正: 原因が入力ミスなら異常値として扱えますが、実際に起きた大きな値なら外れ値として、除去か変換かを影響を見て選びます。
欠損のある行は、削除しても分析結果に影響しないと考える
修正: 公式スキルチェックリストは、欠損データの除外時などに選択バイアスが生じる可能性を理解することを求めています。
確認問題
Q1値が入っていない状態を何といいますか?
答え: 欠損値
外れ値は、値は入っているが統計的に極端な値です。
Q2入力ミスや測定機器の故障など、原因が明確な誤データを何といいますか?
答え: 異常値
統計的に極端な値である外れ値とは区別されます。
Q3欠損値を含む行や列をすべて捨てる方法の代償は何ですか?
答え: 不完全でも価値のあるデータを失うこと
代わりに、既知の部分から値を推測して補う補完を選べます。
到達チェック
- 欠損値と外れ値の違いを言える
- 異常値と外れ値の区別を言える
- 欠損値の対処に削除と補完があることを言える
- 欠損データの除外で選択バイアスが生じうることを言える
関連ページで確認する
同じ資格で次に知りたいこと
- 統計検定データサイエンス基礎とDS検定の違い(形式・問題数・受験料・出題範囲)
統計検定データサイエンス基礎(DS基礎。90分・45問程度、Excel使用、一般7,000円)とDS検定(100分・100問、一般10,000円)の違いを、実施団体、出題の形式、出題範囲、受験料、どちらから受けるかまで公式情報に沿って比較します。
- 訓練・検証・テストデータの違い|モデルの学習と評価でデータを3つに分ける理由(DS検定・G検定)
訓練データ・検証データ・テストデータの違いを、使う場面、分ける理由、データを3つに分ける欠点と交差検証との関係、DS検定・G検定での確認問題まで、scikit-learnの公式ドキュメントと両検定の公式シラバスに沿って整理します。
- ETLとELTの違い(データ連携の処理順序と変換する場所)
ETL(抽出・変換・ロード)とELT(抽出・ロード・変換)の違いを、変換するタイミングと場所、ステージング領域、向くデータで比較。DS検定の公式スキルチェックリスト(データエンジニアリング)に載るETLの理解と確認問題つきです。
よくある質問
Q欠損値と外れ値は何が違いますか?
欠損値は値が入っていない状態、外れ値は値は入っているが統計的に極端な値です。対処は、欠損値が削除か補完、外れ値が除去や変換です。
Q外れ値と異常値は同じですか?
異なります。異常値は入力ミスや測定機器の故障など原因が明確な誤データで、外れ値は統計的に極端な値です。
Q欠損値は削除と補完のどちらがよいですか?
scikit-learn公式ドキュメントでは、削除は価値のあるデータを失う代償があり、補完は既知の部分から値を推測する方法です。データの偏りも見て選びます。
QDS検定で、欠損値と外れ値はどこに出ますか?
公式スキルチェックリストの★1つ星No.106に、外れ値・異常値・欠損値とは何かを理解し、検出と除去・変換などの対応ができることが挙げられています。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い(統計検定2級の式と計算例)
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部(運営者情報を見る)
