用語比較
形態素解析とトークン分割の違い（DS検定・生成AIパスポート）
形態素解析とトークン分割は、どちらも文章を小さな単位に区切る処理です。そのため「同じものの別名」と思われやすい組み合わせです。
違いは、区切る目的と区切りの決め方です。形態素解析は、言語の単位である形態素に分け、品詞を判定する処理です。トークン分割は、生成AIが文章を処理するために、学習で決めた語彙の単位に分ける処理です。
データサイエンティスト協会のスキルチェックリストは、非構造化データ処理の自然言語処理に、形態素解析や係り受け解析のライブラリで基本的な文書構造解析を行うこと（No.289）と、BPEなどのサブワード分割手法を理解すること（No.291）を並べています。このページは、2つの処理を同じ文章に当てたときの違いを整理します。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。生成AIパスポートの一次情報確認日: 2026-08-31。
結論
形態素解析
文章を形態素に分け、品詞などを判定する処理。MeCabは、辞書を使う形態素解析エンジンとして公開されている。
トークン分割
文章を、モデルが処理する単位に分ける処理。Hugging Faceの文書は、BPE・Unigram・WordPieceを代表的なサブワード分割として挙げる。
違いを表で確認
| 比較軸 | 形態素解析 | トークン分割 |
|---|---|---|
| 目的 | 文の構造を調べる（品詞を付ける、語の境界を決める） | モデルが処理できる単位に文章を分ける |
| 区切りの決め方 | 辞書と解析のルールで決める。MeCabは辞書を使い、辞書にない語は未知語として別に処理する | 学習データから決めた語彙で決める。よく出る語は1つのまま、まれな語は小さな部分に分かれる |
| 区切りの単位 | 形態素（言語の単位）。品詞などの情報がつく | トークン（語彙の単位）。単語と一致するとは限らない |
| 主に使う場面 | テキスト分析の前処理、文書構造の解析 | 大規模言語モデルの入力、トークン数の計算 |
| 公式チェックリストでの位置づけ | No.289（★）でライブラリの利用、No.295（★★★）でアルゴリズムの理解 | No.291（★★）でBPEなどのサブワード分割手法の理解 |
DS検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
DS検定の学習で、形態素解析の位置づけを確かめたい人
チェックリストでは、非構造化データ処理の自然言語処理にあたります。まずNo.289のとおり、ライブラリで文章を分けて品詞を確認できる状態を目標にし、アルゴリズムの理解（No.295）はその先の段階です。
生成AIの「トークン」と日本語の単語が合わない理由を知りたい人
トークンは語彙にもとづく単位で、辞書の単語とは別の基準で決まります。OpenAIの公式文書は、tokenizationという語がtokenとizationに分かれる例を挙げています。
具体例で使い分ける
例 1
同じ文章を、形態素解析とトークン分割にかけた場合
考え方を確かめるための例です。実際の区切りは、使う辞書やモデルの語彙で変わります。
- 形態素解析では、辞書にもとづいて文章を形態素に分け、それぞれに品詞を付けます。同じ文章でも、辞書が違えば区切りや品詞の付け方が変わることがあります。
- トークン分割では、モデルの語彙にもとづいて分けます。Hugging Faceの文書は、よく出る語は1つのトークンのまま残り、まれな語や未知の語は部分に分かれると説明します。たとえば英語のannoyinglyは、語彙によって [annoying, ly] や [annoy, ing, ly] に分かれ得ます。
結論: 形態素解析は辞書と品詞の話、トークン分割は語彙と処理単位の話として切り分けます。
問題文から答えを選ぶ手順
- 1
品詞を付けるかを確かめる
品詞などの文法情報を出す処理なら形態素解析です。
- 2
区切りの基準を確かめる
辞書とルールなら形態素解析、学習で決めた語彙ならトークン分割です。
- 3
出力の使い道を確かめる
テキスト分析の前処理や文書構造の解析なら形態素解析、モデルへの入力やトークン数の計算ならトークン分割です。
試験での見分け方
- 1形態素解析は、形態素に分けて品詞を判定する処理。
- 2トークン分割は、モデルが処理する語彙の単位に分ける処理。
- 3形態素解析は辞書で、トークン分割は学習で決めた語彙で区切る。
- 4トークンは単語や形態素と一致するとは限らない。
誤答しやすい選択肢
トークンを形態素と同じものだと考える
修正: トークンは語彙にもとづく処理の単位です。形態素のような言語の単位とも、辞書の単語とも一致するとは限りません。
生成AIが内部で形態素解析をしていると考える
修正: Hugging Faceの文書が挙げるBPE・Unigram・WordPieceは、学習データから語彙を作るサブワード分割です。辞書で品詞を付ける処理とは別のものです。
形態素解析をトークン数の計算に使えると考える
修正: トークン数はモデルごとの語彙で決まります。形態素の数とは一致するとは限らないため、モデルのトークナイザーで数えます。
確認問題
Q1文章を形態素に分け、品詞を判定する処理を何といいますか？
答え: 形態素解析
MeCabのように、辞書を使って文章を形態素に分ける道具は形態素解析エンジンと呼ばれます。
Q2BPEやUnigramのように、よく出る語を残し、まれな語を部分に分ける手法を何といいますか？
答え: サブワード分割
スキルチェックリストNo.291が、BPEなどによるサブワード分割手法の理解を挙げています。
Q3辞書とルールで区切るのは形態素解析とトークン分割のどちらですか？
答え: 形態素解析
トークン分割は、学習データから決めた語彙で区切ります。
到達チェック
- 形態素解析が、形態素に分けて品詞を判定する処理だと説明できる
- トークン分割が、学習で決めた語彙の単位に分ける処理だと説明できる
- 区切りの基準が辞書か語彙かで2つを見分けられる
関連ページで確認する
同じ資格で次に知りたいこと
- DS検定と生成AIアドバイザー認定試験の違い｜データ活用と生成AI実務のどちらを先に受けるか
DS検定と生成AIアドバイザー認定試験の違いを、学ぶ内容、問題数と試験時間、受験料、受験方式、合格基準の公表で比較します。データを扱う基礎力を測る試験と、生成AIを業務で使う力を測る試験のどちらを先に受けるかを決められます。
- 欠損値の扱い方（削除と補完の違い・平均値補完の注意点）
欠損値の扱い方として、行や列を削除する方法と、平均値などで補完する方法の違いを、失うもの、ばらつきへの影響、計算例、DS検定での判断手順と確認問題まで整理します。
- DS検定とPython3エンジニア認定基礎試験の違い（出題範囲・問題数・試験時間・受験料・受験日）
DS検定（100問・100分、一般10,000円税抜）とPython3エンジニア認定基礎試験（40問・60分、正答率70%、1万円税別）の違いを、出題範囲、プログラミングの扱い、受験日の決まり方、受験料、先に受ける試験の決め方まで、公式情報に沿って比較します。
よくある質問
Q形態素解析とは？
文章を形態素に分け、品詞などを判定する処理です。MeCabなどの形態素解析エンジンが、辞書を使って行います。
Qトークン分割とは？
文章を、モデルが処理する語彙の単位に分ける処理です。BPEなどのサブワード分割が使われます。
QDS検定の範囲に入っていますか？
データサイエンティスト協会のスキルチェックリストに、形態素解析（No.289・No.295）とサブワード分割（No.291）の記載があります。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）