用語比較
欠損値の扱い方(削除と補完の違い・平均値補完の注意点)
欠損値は、観測や入力が行われず、値が記録されていない状態です。扱い方は大きく2つあり、欠損のある行や列を捨てる削除と、既知の部分から値を推測して埋める補完です。
scikit-learnの公式ドキュメントは、欠損を含む行や列を捨てる方法は基本的な対処である一方、不完全でも価値のあるデータを失う代償があると述べています。そのため、より良い方法として補完を挙げています。ただし補完にも注意点があり、たとえば平均値で埋めると、データのばらつきが小さく見えます。
データサイエンティスト協会のスキルチェックリスト(データサイエンス領域)の★1つ星No.106は、外れ値・異常値・欠損値とは何かを理解し、指示のもとで検出と除去・変換などの対応ができることを求めています。このページでは、削除と補完の違いと、平均値補完で気をつける点を整理します。
この記事の目次
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。DS検定の一次情報確認日: 2026-10-02。
結論
削除
欠損のある行や列を捨てる方法。手順は単純だが、欠損以外の列に入っていた情報も一緒に失う。
補完
既知の部分から値を推測して埋める方法。平均値・中央値・最頻値・定数で埋める単純な方法と、他の特徴量から推定する方法がある。
違いを表で確認
| 比較軸 | 削除 | 補完 |
|---|---|---|
| やること | 欠損のある行や列を取り除く | 欠損の部分に推測した値を入れる |
| データ量 | 行を捨てるぶん、件数が減る | 件数は減らない |
| 失うもの | 欠損のない列に入っていた情報も失う | 推測値は実測値ではないので、実際の関係やばらつきとずれることがある |
| 手順の重さ | 軽い。判断も単純 | 補完の方法を選ぶ必要がある |
| 典型的な使いどころ | 欠損が少なく、取り除いても件数に余裕があるとき | 欠損が多く、捨てると件数が大きく減るとき |
DS検定の学習に使う書籍(Amazon)
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
欠損のある行は、とりあえず全部消せばよいと考える人
削除は手順が単純ですが、欠損以外の列の情報も一緒に失います。欠損が多いデータで行ごと消すと、件数が大きく減るので、補完も選択肢に入れます。
平均値で埋めれば、元の分布は保たれると考える人
平均値で埋めると、平均は変わりませんが、ばらつき(分散)は小さくなります。このあとの計算例で確かめます。
補完は欠損のあるデータでだけ行えばよいと考える人
補完に使う平均値などは、訓練データだけから求めます。テストデータも含めて求めると、データリーケージになります。
具体例で使い分ける
例 1
平均値で埋めると、平均は変わらずばらつきが小さくなる
6件のうち4件の値が2、4、6、8で、残り2件が欠損です。観測できた4件の平均5で欠損を埋めます。
- 観測できた4件の平均は(2+4+6+8)÷4=5です。
- 欠損2件を5で埋めた6件の平均は(2+4+6+8+5+5)÷6=5で、変わりません。
- 偏差の2乗の合計は、観測できた4件では9+1+1+9=20です。5で埋めた2件の偏差は0なので、合計は20のままです。
- 不偏分散は、観測できた4件では20÷3≒6.67、埋めた6件では20÷5=4になります。
結論: 平均は同じでも、不偏分散は約6.67から4へ小さくなります。平均値補完は、ばらつきを実際より小さく見せます。
例 2
欠損の多い列を行ごと削除する
1,000件のデータで、ある列の30%が欠損しています。その列に欠損のある行をすべて削除します。
- 欠損のある行は約300件で、残りは約700件です。
- 削除した300件にも、欠損のない他の列の値が入っていました。それらも一緒に失われます。
結論: 件数が約3割減り、他の列の情報も失うので、補完を検討します。
例 3
テストデータを含めた平均で補完する
全データの平均で欠損を補完してから、訓練用とテスト用に分けます。
- 補完に使った平均には、後でテストに使うデータも含まれています。
- scikit-learnのSimpleImputerは、訓練データで統計量を求め、同じ変換を後からテストデータへ適用する使い方ができます。
結論: テストデータの情報が補完を通して入るので、データリーケージです。分割してから、補完の値は訓練データだけで求めます。
問題文から答えを選ぶ手順
- 1
欠損の量を見る
欠損が少なく、取り除いても件数に余裕があるなら、削除も選べます。多いなら、補完を検討します。
- 2
失うものを見る
行を削除すると、欠損のない列の情報も失います。列ごと削除すると、その列の情報がすべて失われます。
- 3
補完の方法を選ぶ
各列の平均値・中央値・最頻値で埋めるのが単純な方法です。他の特徴量から推定する方法もあります。
- 4
補完の影響を確かめる
平均値で埋めるとばらつきが小さくなります。補完の値は訓練データだけから求めます。
試験での見分け方
- 1欠損のある行や列を捨てるのが削除、値を推測して埋めるのが補完。
- 2削除は、欠損以外の列の情報も失う。
- 3平均値補完は、平均を変えず、ばらつきを小さくする。
- 4補完に使う平均値などは、訓練データだけから求める。
- 5他の特徴量から推定する方法(多変量の補完)もある。
誤答しやすい選択肢
平均値補完をすれば、分散も保たれると考える
修正: 平均値で埋めた値は平均と同じなので、偏差が0になり、ばらつきは小さくなります。計算例で確かめた通りです。
欠損のある行の削除を、損のない方法だと考える
修正: 削除は件数が減るだけでなく、欠損のない列の情報も一緒に失います。
全データの平均で補完してから分割する
修正: テストデータの情報が補完を通して入ります。分割してから、補完の値は訓練データだけで求めます。
欠損値と外れ値を同じものとして扱う
修正: 欠損値は値が記録されていない状態、外れ値は他と大きく離れた値です。スキルチェックリストでも別の概念として並べられています。
確認問題
Q1観測できた値2、4、6、8の平均5で、欠損2件を埋めると、平均とばらつきはどうなりますか?
答え: 平均は変わらず、ばらつきは小さくなる
平均は5のままですが、不偏分散は約6.67から4へ小さくなります。
Q2欠損のある行を削除する方法で、失うものは何ですか?
答え: 欠損のない列の情報も失う
行ごと取り除くので、その行の他の列の値も失われます。
Q3補完に使う平均値は、どのデータから求めますか?
答え: 訓練データだけ
テストデータの情報が混ざるデータリーケージを避けるためです。
到達チェック
- 欠損値の削除と補完の違いを、やることと失うもので説明できる
- 平均値補完で平均が変わらずばらつきが小さくなる理由を、計算で説明できる
- 補完に使う値を訓練データだけから求める理由を説明できる
- 欠損値と外れ値が別の概念であることを説明できる
関連ページで確認する
同じ資格で次に知りたいこと
- 形態素解析とトークン分割の違い(DS検定・生成AIパスポート)
DS検定の出題範囲にある形態素解析と、生成AIが文章を区切るトークン分割(サブワード分割)の違いを、辞書と品詞で分けるか、学習で決めた語彙で分けるかから整理。公式チェックリストの記載、数値のない例、確認問題つきです。
- データ可視化: 棒グラフ・折れ線・散布図の使い分け(DS検定)
DS検定の公式スキルチェックリストに沿って、棒グラフ(コラムチャート)・時系列の折れ線・散布図を、比較・変化・関係という目的で使い分ける方法を、Y軸の基準点、確認問題まで解説します。
- DS検定と生成AIアドバイザー認定試験の違い|データ活用と生成AI実務のどちらを先に受けるか
DS検定と生成AIアドバイザー認定試験の違いを、学ぶ内容、問題数と試験時間、受験料、受験方式、合格基準の公表で比較します。データを扱う基礎力を測る試験と、生成AIを業務で使う力を測る試験のどちらを先に受けるかを決められます。
よくある質問
Q欠損値の扱い方にはどんな方法がありますか?
欠損のある行や列を捨てる削除と、既知の部分から値を推測して埋める補完があります。scikit-learnのドキュメントは、削除は価値のあるデータを失う代償があるとして、補完を挙げています。
Q平均値補完の注意点は何ですか?
平均は変わりませんが、ばらつきが実際より小さくなります。補完に使う平均値は、訓練データだけから求める必要があります。
Q補完にはどんな方法がありますか?
各列の平均値・中央値・最頻値や、指定した定数で埋める単純な方法と、他の特徴量から推定する方法があります。最頻値や定数による補完は、カテゴリデータにも使えます。
QDS検定では欠損値を問われますか?
データサイエンティスト協会のスキルチェックリストの★1つ星No.106が、欠損値の理解と対応を挙げています。削除と補完の違いを押さえておくと対応できます。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い(統計検定2級の式と計算例)
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部(運営者情報を見る)
