DS検定のホールドアウト法・交差検証・データドリフト

結論

1. データは、訓練・検証・テストの3つに分ける。調整は検証データで行い、テストデータは最後の評価だけに使う
2. ホールドアウト法は、1回だけ分ける方法。1,000件を6:2:2で分けると、訓練600件・検証200件・テスト200件
3. 交差検証は、分け方を変えてk回学習・評価し、評価値の平均を取る方法。5分割で評価値が0.82・0.78・0.80・0.84・0.76なら、平均は0.80
4. データドリフトは、データ構成の変化。学習完了後から精度が下がるので、運用中も精度をモニタリングする

訓練・検証・テストの3つのデータ

モデルの実力は、学習に使っていない、未知のデータでの成績で測ります。scikit-learn公式文書では、設定（ハイパーパラメータ）をテストデータで評価しながら調整すると、テストデータの情報がモデルに「漏れて」、評価値が未知のデータでの実力（汎化性能）を表さなくなる、と説明されています。これを防ぐために、調整用の検証データを別に取り置きます。

検証データは調整のために何度でも使えますが、テストデータは、調整が終わった最後の評価に使います。なお、6:2:2という比率は、分け方の一例です。データの件数や目的に応じて変わります。

ホールドアウト法で1,000件を分ける

ホールドアウト法は、データの一部を評価用に取り置き（ホールドアウトし）、残りで学習する方法です。1,000件を、ランダムに、訓練600件・検証200件・テスト200件に分けます。

1. 訓練600件で、複数の設定のモデルを学習する
2. 検証200件で、各モデルの正解率を比べ、いちばんよい設定を選ぶ
3. 選んだ設定で、テスト200件を使って、最終的な正解率を測る

手順が単純で、学習が1回で済みます。一方、1回しか分けないので、たまたまの分け方によって評価値が上下します。たとえば、検証200件に、答えやすい例が多く入ると、評価値は高めに出ます。ホールドアウト法は、手軽ですが、評価値が1回の分け方に左右されます。また、検証やテストに回した分は、学習に使えません。

時系列データでは、ランダムに分けず、時間の前後で訓練とテストに分けます。理由は、時系列分析のページで扱っています。

5分割の交差検証で評価値の平均を求める

交差検証（クロスバリデーション）は、データをk個に分け、k−1個で学習して残り1個で評価する処理を、評価に使う部分を入れ替えながらk回行う方法です。ここでは、前の節とは別の例として、テストデータを取り置く前の1,000件を200件ずつ5つに分けた5分割で考えます。実際には、最終評価用のテストデータは交差検証の外に取り置き、残りのデータを入れ替えながら使います。

5回の正解率の合計は0.82＋0.78＋0.80＋0.84＋0.76＝4.00で、5で割ると0.80です。scikit-learn公式文書でも、k分割交差検証が報告する性能値は、k回の値の平均とされています。交差検証は、交差検証に回したデータは、すべて1回ずつ評価に使われ、評価値は平均で表します。1回目と5回目では0.82と0.76と、6ポイントの差があります。ホールドアウト法のように1回だけの分け方で測っていたら、0.82が出るか0.76が出るかで、モデルの印象が変わっていたことになります。

その代わり、学習をk回行うので、計算の手間は、5分割なら5倍かかります。なお、調整に交差検証を使う場合も、最終評価用のテストデータは別に取り置くのが基本です。

データドリフトと運用中のモニタリング

モデルは、作って終わりではありません。公式チェックリストの★1つ星には、データ構成の変化（データドリフト）によって、学習完了後から精度が劣化していくため、運用時は精度をモニタリングする必要があることが入っています。たとえば、季節や商品の入れ替わりで、入ってくるデータの性質が学習時と変わると、同じモデルでも当たりにくくなります。

運用開始時の0.90が、3か月後に0.81へ9ポイント下がっています。毎月、実際の結果と照らして正解率を記録していれば、下がり始めた時点で、再学習などの対応を考えられます。データドリフトは、モデルが壊れたのではなく、データの側が変わったために起きます。公式チェックリストで理解が求められているのは、運用後に精度が下がる原因と、そのための継続的なモニタリングです。

よくある質問

次に読むと効率的なページ