用語比較
データリーケージとは(過学習との違い・テストデータが学習に混ざる典型例)
データリーケージは、予測する時点では手に入らない情報が、モデルの学習や選択に使われてしまう事故です。評価の数字が実力より高く出るため、気づかないまま運用に入ると、本番で性能が下がります。
過学習は、訓練データに合わせすぎて未知のデータで性能が下がる現象です。どちらも「評価では良く見えたのに、新しいデータでは悪い」という結果につながるため混同されますが、原因が異なります。リーケージは評価の手順の誤り、過学習はモデルとデータの関係の問題です。
G検定のシラバスでは、データリーケージは大項目7のデータの整備と運用に含まれる用語です。このページでは、原因、典型例、防ぎ方、設問での見分け方を順に整理します。
この記事の目次
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
データリーケージ
予測時点では使えない情報が学習や評価に混入し、性能を過大に見積もってしまう事故。
過学習
訓練データに適合しすぎて、未知のデータでの性能が下がる現象。
違いを表で確認
| 比較軸 | データリーケージ | 過学習 |
|---|---|---|
| 何が問題か | 使えない情報が学習・評価に混ざっている | 訓練データに合わせすぎている |
| 原因の種類 | データの分け方・前処理の手順の誤り | モデルの複雑さや訓練データの量とのバランス |
| 評価値の見え方 | テストデータにも情報が漏れているため、評価値そのものが高く出る | 訓練データでは良く、テストデータでは悪く出るため、差で気づける |
| 気づきやすさ | 手順を点検しない限り、評価上は良く見えるので気づきにくい | 訓練とテストの性能差を見れば気づける |
| 主な対策 | 最初にデータを分ける、前処理は訓練データだけで学習する、パイプラインで手順をまとめる | 正則化、データの追加、モデルの単純化、早期終了など |
G検定の学習に使う書籍(Amazon)
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
テストの精度が高ければ安心だと考える人
テストデータの情報が学習へ混ざっていると、テストの精度が高くても実力ではありません。精度の数字を見る前に、データの分け方と前処理の順序を確認します。
テストの精度が低い原因を何でも過学習だと考える人
過学習は、訓練データでは良くテストデータで悪いときに疑う現象です。逆に、テストの精度が不自然に高いときは、リーケージを疑います。
前処理は全データにまとめて行ってよいと考える人
平均や標準偏差を全データから求めて標準化すると、テストデータの情報が前処理を通して学習へ影響します。分割してから、前処理の値は訓練データだけで求めます。
具体例で使い分ける
例 1
全データの平均で標準化してから分割する
1,000件すべての平均と標準偏差で標準化した後、800件と200件へ分けてモデルを評価します。
- 標準化に使った平均と標準偏差には、後でテストに使う200件も含まれています。
- scikit-learnのドキュメントは、前処理の変換は訓練データだけから学習する必要があると説明しています。
- テストデータの情報がモデルへ影響するので、評価値は実力より良く出るおそれがあります。
結論: テストデータの情報が前処理を通して混入しているので、データリーケージです。
例 2
テストデータに対してfitを呼ぶ
前処理の変換器を、訓練データとテストデータをまとめた全体に対してfitしてから、モデルを学習します。
- scikit-learnのドキュメントは、テストデータに対してfitを呼ばないことを一般則として挙げています。
- fitは訓練データだけに行い、テストデータにはtransformだけを適用します。
結論: テストデータでfitしているので、データリーケージです。
例 3
訓練の正解率は高いがテストの正解率が低い
訓練データの正解率は高い一方、取り置いたテストデータでは大きく下がります。
- テストデータの情報が学習へ混ざった形跡はありません。
- 訓練データに適合しすぎて、未知のデータで下がる典型的な形です。
結論: 訓練とテストの差が問題なので、過学習です。
問題文から答えを選ぶ手順
- 1
問題の場所を見る
手順や情報の混入が書かれていればリーケージ、訓練とテストの性能差が書かれていれば過学習を疑います。
- 2
分割と前処理の順序を見る
標準化や欠損値の補完などの前処理を、データを分ける前に全体へ行っていないかを確認します。
- 3
評価値の方向を見る
訓練で良くテストで悪いなら過学習です。テストの数字が不自然に良く、本番で下がるなら、リーケージを疑います。
- 4
予測時点で使える情報かを見る
特徴量に、予測する時点では手に入らない情報が含まれていないかを確認します。
試験での見分け方
- 1予測時点では使えない情報が学習や評価に入っているならデータリーケージ。
- 2訓練データでは良く、テストデータで悪いなら過学習。
- 3前処理の値(平均など)は訓練データだけから求める。
- 4テストデータに対してfitを呼ばない。
- 5最初にデータを訓練用とテスト用へ分け、その後に前処理を行う。
誤答しやすい選択肢
リーケージと過学習を同じものとして扱う
修正: リーケージは評価の手順の誤り、過学習はモデルが訓練データに合わせすぎる現象です。対策も異なります。
前処理を分割より先に全体へ行う
修正: 平均や標準偏差を全データで求めると、テストデータの情報が混入します。分割してから、訓練データだけで求めます。
交差検証をすればリーケージは起きないと考える
修正: 交差検証の中で前処理を全体へ行うと、リーケージは起こります。前処理も各foldの訓練側だけで行います。
テストデータで設定を調整する
修正: テストデータを使ってモデルの選択をすると、テストの情報が選択に入ります。最終テストは、選択に使わず別に保持します。
確認問題
Q1全データの平均と標準偏差で標準化してから、訓練用とテスト用に分けるとき、起こりうる問題は?
答え: データリーケージ
テストデータの情報が標準化を通して学習へ影響し、評価値が実力より高く出るおそれがあります。
Q2訓練データでは正解率が高く、テストデータでは大きく下がるのは何の兆候ですか?
答え: 過学習
訓練データに適合しすぎて、未知のデータで性能が下がる現象です。
Q3リーケージを防ぐため、前処理で使う平均などはどのデータから求めますか?
答え: 訓練データだけ
テストデータの情報を混ぜないために、最初にデータを分け、前処理の値は訓練データだけから求めます。
到達チェック
- データリーケージの定義を、予測時点で使えない情報の混入として説明できる
- リーケージと過学習の原因と見え方の違いを説明できる
- 前処理を分割の前に全体へ行う例が、なぜリーケージになるかを説明できる
- 最初にデータを分け、前処理は訓練データだけで学習するという手順を言える
関連ページで確認する
同じ資格で次に知りたいこと
- AIブームと冬の時代の年表|第一次〜第三次の違い(G検定)
第一次・第二次・第三次AIブームの時期、ブームを支えた技術、冬の時代を招いた限界を年表で整理します。G検定の人工知能の歴史の問題で迷わない判断手順と確認問題も掲載します。
- 特徴量とは(特徴量選択と特徴量抽出の違い)
特徴量とは何かを、予測や分類の手がかりとなるデータの性質として整理し、特徴量選択(一部を選ぶ)と特徴量抽出(数値の特徴量へ変換する)の違いを、scikit-learn公式ドキュメントの記述をもとに比較します。G検定での判断手順と確認問題も示します。
- GPUとTPUの違い|開発の出発点・得意な計算・使い分け(G検定)
GPUとTPUの違いを、設計の出発点、行列演算の進め方、向いているモデルの条件で整理します。CPUとの位置づけも含め、G検定の計算資源の問題で迷わない判断手順と確認問題も掲載します。
よくある質問
Qデータリーケージとは何ですか?
予測する時点では手に入らない情報が、モデルを作る過程で使われてしまう事故です。性能を過大に見積もる原因になります。scikit-learnのドキュメントも、この結果として本番での性能が下がると説明しています。
Qデータリーケージと過学習の違いは何ですか?
リーケージは評価や前処理の手順の誤りで、テストデータの情報が混入する問題です。過学習は、訓練データに適合しすぎて未知のデータで下がる現象です。
Qデータリーケージはどう防ぎますか?
最初に訓練用とテスト用へ分け、前処理の値は訓練データだけから求めます。テストデータに対してfitを呼ばないこともscikit-learnのドキュメントが勧めています。
QG検定ではデータリーケージを問われますか?
G検定のシラバスでは、大項目7のデータの整備と運用に含まれる用語です。定義と過学習との違いを押さえておくと対応できます。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い(統計検定2級の式と計算例)
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部(運営者情報を見る)
