大項目7 AIの社会実装に向けて
G検定のアノテーション・コーパス・オープンデータ・データリーケージ
当サイトが整理したG検定の出題範囲では、データの整備と運用の項目に、アノテーション、データリーケージ、オープンデータセット、コーパスの4語が並びます。4語は、作業・成果物・公開のルール・失敗の4つで、別々の種類の言葉です。
このページは、国立国語研究所、デジタル庁、scikit-learnの公式文書を読み直し、4語を1枚の表と自作の数値例で区別できるようにしました。データリーケージだけを詳しく知りたいときはデータリーケージと過学習の違いも参考になります。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-10-02。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- アノテーションは、データに情報（タグやラベル）を付ける作業
- コーパスは、言葉のデータを体系的に集めて情報を付けた、言葉のデータベース
- オープンデータは、二次利用可能・機械判読に適する・無償の3要件をすべて満たす公開データ
- データリーケージは、予測時には手に入らない情報をモデル作りに使ってしまう失敗
4語の違い（一覧）
| 用語 | 意味 | 出てくる場面 | 区別の目印 |
|---|---|---|---|
| アノテーション | データに、検索や学習に使う情報（タグ・ラベル）を付ける作業 | コーパスの整備、教師あり学習の教師データ作り | 付けるのは情報。データそのものを集める作業ではない |
| コーパス | 書き言葉や話し言葉を体系的に集め、研究用の情報を付けた言葉のデータベース | 音声認識や自然言語処理の言語モデルの構築 | 集めただけの文章の山ではなく、情報を付けて整えたもの |
| オープンデータ | 二次利用可能なルールで、機械判読に適した形式で、無償で使える公開データ | 国・地方公共団体・事業者が保有するデータの公開 | 3つの要件をすべて満たすものだけを指す |
| データリーケージ | 予測する時点では手に入らないはずの情報が、モデルを作る段階で使われてしまうこと | 前処理や特徴量づくり、データの分け方の失敗 | 性能が実力より良く見えてしまう失敗。データの種類ではない |
出典:国立国語研究所「言語コーパスガイダンス」、デジタル庁「オープンデータ基本指針」、scikit-learn「Common pitfalls and recommended practices」、NTTドコモビジネス「IT用語集 アノテーション」
アノテーションとコーパス
国立国語研究所の言語コーパスガイダンスは、書き言葉や話し言葉の資料を体系的に集め、研究用の情報を付与した言葉のデータベースを言語コーパスと呼びます。文章を集めただけの状態ではなく、情報を付けて整えたものがコーパスです。
同じ文書は、テキストだけのコーパスでは「分かち書き」と「わかち書き」のような表記の違いを1つの語にまとめられないため、検索用の情報を付け加える必要があると述べます。この作業をアノテーションと呼びます。基本は形態素解析で、文を語に分け、品詞を決め、表記のゆれを踏まえて語の同一性を決める作業です。
AIの分野では、NTTドコモビジネスのIT用語集が、テキスト・音声・画像・動画のデータに情報タグを付ける作業をアノテーションと説明し、教師あり学習で欠かせないとしています。教師あり学習は、正解ラベルの付いた教師データを読み込ませて学習させる手法です。
- アノテーションは「付ける作業」、コーパスは「できあがったデータベース」
- 言語の分野では検索用の情報、教師あり学習では正解ラベルが、付ける情報の例
- 形態素解析も、コーパスの基本的なアノテーションとして位置づけられている
出典:国立国語研究所「言語コーパスガイダンス」、NTTドコモビジネス「IT用語集 アノテーション」
オープンデータ
デジタル庁が掲載するオープンデータ基本指針（令和6年7月5日改正）は、国・地方公共団体・事業者が保有する官民データのうち、国民誰もがインターネット等で容易に利用（加工、編集、再配布等）できるよう、次のすべてに当てはまる形で公開されたデータをオープンデータと定義します。
- 営利目的、非営利目的を問わず二次利用可能なルールが適用されたもの
- 機械判読に適したもの
- 無償で利用できるもの
3つのうち1つでも欠ければ、公開されていてもオープンデータの定義には当てはまりません。3要件から考えると、有料で提供されるデータや、再配布を禁じて公開されるデータは対象外になります。
同ページは、官民データ活用推進基本法により、国と地方公共団体にオープンデータへの取組が義務付けられたとも説明しています。このページの整理では、オープンデータセットは、こうして公開された学習や分析に使えるデータの集まりと読めば足ります。
出典:デジタル庁「オープンデータ」のページ、「オープンデータ基本指針」
データリーケージ
scikit-learnの文書は、データリーケージを、予測する時点では得られない情報をモデルの構築に使ってしまうことと説明します。結果として性能の見積もりが楽観的になりすぎます。テストデータの情報が学習側に混ざることが、典型的な原因です。
同文書は、前処理で平均を計算するときに評価用の部分を含めると、評価用の情報がモデルに影響すると例示します。fitやfit_transformにテストデータを含めないこと、前処理の前に学習用と評価用へ分けること、Pipelineで防げることも述べています。
数値例：平均を求める順序
次の数値は、このページの説明用に自作した値です。実際の試験問題や公式の例題ではありません。10件のデータの後ろ2件を評価用にして、平均で欠損を埋める前処理を考えます。
| 手順 | 内容 | 読み方 |
|---|---|---|
| 全データ10件の平均を先に求める | 値は 2, 4, 6, 8, 10, 12, 14, 16, 18, 20。平均は11 | ここで評価用の2件も平均に入る |
| 学習用8件・評価用2件に分ける | 評価用は 18 と 20（平均は19） | 分けるのが平均の計算より後になっている |
| 正しい順序で平均を求める | 学習用8件（2〜16）だけで平均は9 | 評価用の情報を使わない。これが漏れていない状態 |
1行目の平均11には評価用の18と20が入っていますが、3行目の平均9には入っていません。分けてから求めた平均だけが、予測時に使える情報です。評価用の値を平均に混ぜると、評価用データが学習側の数値に影響し、実際より良い結果に見えやすくなります。
出典:scikit-learn「Common pitfalls and recommended practices」の Data leakage の節
選択肢の読み方
資料の記載から、選択肢を次のように読みます。
- 「アノテーションは、データを新たに収集する作業である」は、情報を付ける作業という説明と合わない
- 「コーパスは、整理していない文章を集めたものである」は、情報を付与したデータベースという説明と合わない
- 「有償で提供されるデータもオープンデータに含まれる」は、無償で利用できることが要件という定義と合わない
- 「データリーケージは、学習後のモデルの性能が下がることである」は、予測時に得られない情報を使う失敗という説明と合わない
ここで挙げた読み方は、一次資料の記載から導いたこのページの整理で、出題を予想するものではありません。
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
よくある質問
アノテーションとコーパスは同じ意味ですか？
同じではありません。国立国語研究所の言語コーパスガイダンスは、検索用の情報を付け加える作業を**アノテーション**と呼び、そうして情報を付与した言葉のデータベースを**コーパス**と呼んでいます。作業がアノテーション、できあがったものがコーパスです。
ネット上で見られるデータは、すべてオープンデータですか？
すべてではありません。オープンデータ基本指針は、二次利用可能なルールが適用されていること、機械判読に適していること、無償で利用できることの3つのすべてに当てはまる形で公開されたデータをオープンデータと定義しています。見られるだけで、再配布や加工が認められていないデータは当てはまりません。
データリーケージは、データが外部に流出する事故のことですか？
G検定のデータリーケージは、機械学習の用語としては別の意味です。scikit-learnの文書は、予測する時点では得られない情報をモデルの構築に使ってしまうことと説明します。情報漏えいの事故ではなく、評価が実力より良く見える失敗を指します。