第5章 データ準備・可視化技法とモデル化（非構造化データ処理）
DS検定の非構造化データ処理の例と計算
DS検定（リテラシーレベル）の公式スキルチェックリストには、非構造化データ処理として、文章・画像・動画・音声を扱う基本が★1つ星で入っています。非構造化データは、表の行と列に収まらない、文章や画像のようなデータです。このページでは、文章の処理の入出力の違いと、画像・音声のデータ量の計算を確かめます。文章の処理は「何を入れて何が出るか」、画像と音声は「数値としてどれだけの量か」で整理できます。
このページは試験の学習用の整理です。文章と数字はすべて説明用の架空のものです。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-10-02。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- 形態素解析は語に分ける、係り受け解析は語のつながりを調べる、固有表現抽出は人名・地名・日付などを取り出す
- 機械翻訳は、ある言語の文章を入力し、別の言語の文章を出力する
- 文章のクリーニングには、小文字化、数値置換、半角変換、記号除去、ステミングがある
- 画像のデータ量は、縦×横×色の数×1つあたりのビット数。640×480画素のカラー画像は921,600バイト
- 音声のデータ量は、サンプリングレート×ビット数×チャンネル数×時間。44,100Hz・16ビット・2チャンネルは1秒で1,411,200ビット
テキストの処理と入出力
公式チェックリストの★1つ星には、自然言語処理を用いて解けるタスクを理解し、各タスクの入出力を説明できることがあります。例としてGLUEタスクや固有表現抽出、機械翻訳が挙がっています。「4月に大阪で会議を開く」という文章を例に、入力と出力を並べます。
| 処理 | 入力 | 出力 | 例 |
|---|---|---|---|
| 形態素解析 | 文章 | 語（形態素）への分割と品詞 | 「会議を開く」→ 会議／を／開く |
| 係り受け解析 | 文章 | 文節どうしの修飾関係 | 「大阪で」→「開く」にかかる |
| 固有表現抽出 | 文章 | 人名・地名・日付などの語と種類 | 「大阪」→ 地名、「4月」→ 日付 |
| 機械翻訳 | ある言語の文章 | 別の言語の文章 | 日本語の文 → 英語の文 |
形態素解析は全部の語を分け、固有表現抽出は固有の表現だけを取り出します。「4月に大阪で会議を開く」を形態素解析すると、4月／に／大阪／で／会議／を／開く のように分かれ、語ごとに品詞が付きます（分かれ方は辞書によって変わります）。固有表現抽出では、「4月」が日付、「大阪」が地名として取り出されます。「会議」「開く」は固有の表現ではないので、取り出されません。
形態素解析のツールには、MeCabなどがあります。MeCabの公式ページは、MeCabを、京都大学と日本電信電話株式会社の共同研究で開発されたオープンソースの形態素解析エンジンと説明しています。チェックリストの★1つ星は、こうしたライブラリを使って基本的な文書構造解析を行えることです。
テキストのクリーニング
公式チェックリストの★1つ星には、テキストデータの代表的なクリーニング処理（小文字化、数値置換、半角変換、記号除去、ステミングなど）を、目的に応じて適切に実施できることもあります。同じ内容の文字を、同じ形にそろえる作業です。
- 小文字化：「Data」と「data」を同じ語として数える。「Data Science」は「data science」になる
- 数値置換：金額や件数の数字を「NUM」のような共通の記号に置き換える。「3,980円」と「5,200円」を同じ形にそろえられる
- 半角変換：全角の「１２３」を半角の「123」にそろえる
- 記号除去：「！」や「★」のような、分析に使わない記号を取り除く
- ステミング：語の語尾を落として、語幹の形にそろえる。英語の「running」と「runs」を、同じ「run」にまとめる
クリーニングは、同じ意味の表記を同じ形にそろえて、別の語として数えてしまうのを防ぐ処理です。どこまで行うかは、目的で変わります。たとえば、金額そのものを分析したいときに数値置換をすると、金額の情報が消えてしまいます。
画像のデータ量
公式チェックリストの★1つ星には、画像のデジタル表現の仕組みと代表的な画像フォーマットを知っていること、リサイズ・パディング・正規化などのクリーニングを実施できること、画像認識のタスク（識別、物体検出、セグメンテーションなど）の入出力を説明できることが入っています。画像は、画素（ピクセル）という小さな点の並びとして、数値で表されます。
横640画素、縦480画素のカラー画像で、データ量を求めます。カラー画像は、1画素を赤・緑・青の3色で表し、1色を8ビット（1バイト）で表すとします。
- 画素数：640×480＝307,200画素
- 1画素のデータ量：3色×1バイト＝3バイト
- 全体：307,200×3＝921,600バイト（約0.92MB）
この数字は、圧縮する前の大きさです。JPEGやPNGのような画像フォーマットは、圧縮のしかたが違うので、ファイルの大きさはこれより小さくなります。画像は、縦×横×色の数の数値の並びです。リサイズは縦横の画素数を変える処理で、画素数が半分ずつ（320×240）になると、データ量は4分の1の230,400バイトになります。なお、画像認識のタスクは、画像が何かを答える識別、物体の位置を四角で囲む物体検出、画素ごとに領域を分けるセグメンテーションの順に、出力が細かくなります。
音声のデータ量
公式チェックリストの★1つ星には、wavやmp3などの代表的な音声フォーマットの特徴や用途、基本的な変換処理について説明できることがあります。例として、サンプリングレート、符号化、量子化が挙がっています。サンプリングレートは、1秒間に音を何回測るかを表す数です。量子化ビット数は、1回の測定値を何ビットで表すかを表す数です。
サンプリングレート44,100Hz、量子化16ビット、ステレオ（2チャンネル）の音声を、圧縮せずに保存するときのデータ量を求めます。
- 1秒あたり：44,100回×16ビット×2チャンネル＝1,411,200ビット
- 1分（60秒）：1,411,200×60＝84,672,000ビット
- バイトに直す（8ビット＝1バイト）：84,672,000÷8＝10,584,000バイト（約10.6MB）
音声のデータ量は、サンプリングレート×ビット数×チャンネル数×時間で求まります。サンプリングレートを22,050Hzに半分にすると、1秒あたりのデータ量も半分の705,600ビットになります。モノラル（1チャンネル）にしても半分です。圧縮しないwavと、圧縮するmp3では、同じ音声でもファイルの大きさが変わります。
動画についても、★1つ星に、動画のデジタル表現の仕組みと代表的な動画フォーマットを理解し、動画から画像を抽出する既存の方法を使えることがあります。動画は、画像を時間順に並べたものと考えると、画像の計算を応用できます。
DS検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
よくある質問
DS検定の非構造化データ処理は、どこまで必要ですか？
公式スキルチェックリスト（data_science.csv）の★1つ星は、文章のクリーニング、形態素解析や係り受け解析のライブラリで基本的な文書構造解析をすること、自然言語処理のタスクの入出力を説明することです。画像と動画はデジタル表現とフォーマット、画像認識のタスクの入出力、音声はフォーマットとサンプリングレートなどの基本的な変換処理までが挙がっています。
形態素解析と係り受け解析は、何が違いますか？
形態素解析は、文章を語に分け、語ごとに品詞を付ける処理です。係り受け解析は、文節どうしがどの文節にかかるかという関係を調べる処理です。前者は語の単位、後者は語のつながりの単位を扱います。
固有表現抽出は、形態素解析とどう違いますか？
固有表現抽出は、文章の中から人名・地名・日付・金額などの固有の表現を取り出し、その種類を付ける処理です。形態素解析は、すべての語を分けて品詞を付けます。取り出す対象と、付けるラベルが違います。
サンプリングレートを2倍にすると、データ量はどうなりますか？
ビット数とチャンネル数が同じなら、1秒あたりのデータ量は2倍になります。データ量は、サンプリングレート×ビット数×チャンネル数×時間で求められるためです。