用語比較
文単位と固定サイズのチャンク分割の違い｜RAG（生成AIパスポート）
文単位の分割と固定サイズ（重複あり）の分割の違いは、チャンクを切る基準です。文単位は完全な文でできるように切り、固定サイズは一定の文字数またはトークン数で切って、隣り合うチャンクの間を一部重ねます。
切る基準が文の切れ目なら文単位、長さなら固定サイズ。固定サイズでは長さと重なりの量を自分で決めると覚えると、チャンク分割の選択肢を整理できます。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。
文単位の分割と固定サイズ（重複あり）の分割の要点
文単位の分割
完全な文でできたチャンクに分ける単純な方法。Microsoftの文書は、他の方法が合わないときの代替策として使うとしている。
固定サイズ（重複あり）の分割
一定の文字数またはトークン数で分け、隣り合うチャンクの間で一部を重ねる方法。複数の文にまたがる意味を持つチャンクを得られる。
共通する点
どちらも実装の労力と処理費用が低く、文章で書かれた構造の少ない文書に向く。
違いを表で確認
| 比較軸 | 文単位の分割 | 固定サイズ（重複あり）の分割 |
|---|---|---|
| 切る基準 | 文単位：文の切れ目。チャンクは完全な文でできる | 固定サイズ：一定の文字数またはトークン数。文の途中で切れることもある |
| 自分で決める値 | 文単位：文の区切り方（文を見分ける道具を選ぶ） | 固定サイズ：チャンクの固定サイズと、チャンク間の重複量 |
| 文脈の保たれ方 | 文単位：1つのチャンクが考えの全体を捉えないことがあり、意味をつかむには複数の文をまとめて扱う必要がしばしばある | 固定サイズ：複数の文にまたがる意味を持つチャンクを得られる |
| 実装の労力と処理費用 | 文単位：どちらも低い | 固定サイズ：どちらも低い |
| 向く文書 | 文単位：散文や完全な文でできた構造の少ない文書。Microsoftの文書は代替策の位置づけ | 固定サイズ：同じく構造の少ない文書（自由回答、フォーラムの投稿、レビュー、メール、メモなど） |
| 試し方 | 文単位：文を見分ける道具（spaCy、NLTKなど）で分ける | 固定サイズ：Hugging Faceのchunk visualizerのような道具で、サイズと重複量を変えて分かれ方を見る |
生成AIパスポートの学習に使う書籍（Amazon）
PR
どこで迷っているかを切り分ける
チャンク分割を、文書を小さく切る作業としか考えていない人
Microsoftの文書は、チャンク分割を、意味的に関連する内容を含む適切な大きさに分ける工程としています。文書全体や大きすぎるチャンクを渡すと、費用がかかり、モデルのトークン上限を超えることがあり、最良の結果にもなりません。
重複ありの意味が分からない人
隣り合うチャンクの端を重ねて持つ方法です。切れ目をまたぐ内容が、どちらかのチャンクに入りやすくなります。重ねる量は自分で決めます。
文字数とトークンの違いが気になる人
Microsoftの文書は、固定サイズの分割では文字数よりBERTのトークンを使うとよいとしています。BERTのトークンは言語の意味のある単位にもとづくので、文字数より多くの意味情報を保つからです。
シラバスの語の定義文を探している人
2027年2月適用の公式シラバスは、チャンク分割をRAGの詳細キーワードとして載せるだけで、分け方の種類までは載せていません。このページでは、Microsoftの公式文書で確認できる説明を使っています。
具体例で使い分ける
例 1
ひとことずつ独立したレビューを検索する場合（架空の場面）
商品レビューを集めた文書を、RAGの検索対象にします。レビューは1〜2文の短い文が中心です。
- 文の切れ目で分ければ、チャンクは完全な文になります。
- 文書は、構造の少ない文章に文単位の分割を向くものとして挙げています。
- 1つのチャンクが文脈の全体を捉えないことがある点は、短い文が中心のこの場面では影響が小さい見込みです。
結論: 完全な文でそろえればよい文書なので、文単位の分割の場面です。この例は説明用の架空のものです。
例 2
切れ目をまたぐ説明がある場合（架空の数値）
チャンクの固定サイズを500トークン、重複を100トークンにします。
- 最初のチャンクは500トークンです。
- 隣のチャンクが新しく加える位置は、500から100を引いた400トークンです。
- 完全な2チャンクが覆う異なる位置は、500足す400で900トークンです。
結論: 重複を増やすと、新しく加わる分が減ります。サイズと重複量は、文書の種類で結果が変わるため、道具で試して決めます。数値は説明用の架空のものです。
例 3
どちらにするか迷う場合
自由回答のアンケートを検索の対象にします。回答ごとに長さがばらばらです。
- Microsoftの文書は、構造がほとんど無い文書に、文単位か固定サイズ（重複あり）を挙げています。
- 意味が複数の文にまたがる回答が多いなら、固定サイズ（重複あり）の長所が出ます。
- チャンク分割の方針は半ば恒久的な選択で、変えると後続の工程に影響するため、先に試して比べます。
結論: 候補は二つに絞れますが、決め手は文書の種類です。実際の文書で分け方を見て決めます。
問題文から答えを選ぶ手順
- 1
文書の構造を見る
表や見出しで構造がはっきりした文書か、文章が中心の文書かを確認します。文単位と固定サイズ（重複あり）は、後者に向く方法です。
- 2
意味がどこまで続くかを見る
意味が1文で閉じるなら文単位、複数の文にまたがるなら固定サイズ（重複あり）を考えます。
- 3
固定サイズなら長さと重なりを決める
チャンクの固定サイズと重複量を自分で決めます。道具で分かれ方を見ながら試します。
- 4
変更の影響を踏まえて選ぶ
チャンク分割の方針を変えると、後続の工程に影響します。本番に入れる前に比べておきます。
試験での見分け方
- 1文単位の分割は、完全な文でできたチャンクに分ける方法である。
- 2固定サイズ（重複あり）の分割は、一定の文字数またはトークン数で分け、隣り合うチャンクの間を重ねる方法である。
- 3固定サイズの分割は、複数の文にまたがる意味を持つチャンクを得られる。
- 4固定サイズの分割では、チャンクの固定サイズと重複量を自分で選ぶ。
- 5チャンク分割の方針は半ば恒久的な選択で、変えると後続の工程に影響する。
誤答しやすい選択肢
重複を多くするほど良いと考える
修正: 重複を増やすと、隣のチャンクが新しく加える位置が減ります。サイズと重複量は、文書の種類で結果が変わるため、道具で試して決めます。
文単位なら文脈を保てると考える
修正: 文単位は、1つのチャンクが考えの全体を捉えないことがあります。意味をつかむには、複数の文をまとめて扱う必要がしばしばあります。
チャンクは大きいほど情報が多くて良いと考える
修正: 大きすぎるチャンクは、費用がかかり、モデルのトークン上限を超えることがあり、最良の結果にもなりません。意味的に関連する内容を含む適切な大きさに分けます。
分け方は、後からいつでも気軽に変えられると考える
修正: チャンク分割の方針は半ば恒久的な選択で、変えると後続の工程に大きく影響し、ワークフロー全体の変更が要ることがあります。
確認問題
Q1完全な文でできたチャンクに分ける方法は？
答え: 文単位の分割
Microsoftの文書では、単純な方法で、他の方法が合わないときの代替策として使うとされています。
Q2一定の文字数またはトークン数で分け、隣り合うチャンクの間で一部を重ねる方法は？
答え: 固定サイズ（重複あり）の分割
チャンクの固定サイズと重複量は、自分で選びます。
Q3固定サイズの分割で、複数の文にまたがる意味を持つチャンクを得られるのは、文単位と比べてどちら？
答え: 固定サイズ（重複あり）
文書は、文単位に勝る点としてこの点を挙げています。
Q4固定サイズの分割で、文字数よりBERTのトークンを使うとよいのはなぜ？
答え: BERTのトークンは言語の意味のある単位にもとづくので、より多くの意味情報を保つため
文字数は意味の単位と無関係に切れてしまいます。
到達チェック
- 文単位と固定サイズ（重複あり）が、何を基準に切るかを言える
- 固定サイズで自分で決める値が2つあることを説明できる
- チャンクが大きすぎる場合の問題を挙げられる
- チャンク分割の方針を変える影響を説明できる
関連ページで確認する
同じ資格で次に知りたいこと
- クエリの書き換えとクエリの分解の違い｜RAG（生成AIパスポート）
RAGのクエリの書き換えとクエリの分解の違いを、変える対象・検索の回数・使う場面・判断のタイミングで整理。2027年2月適用シラバスの詳細キーワードを、Microsoft Learnの文書で照合します。
- オプトインとオプトアウトの違い｜個人データの第三者提供と生成AIへの入力（生成AIパスポート）
オプトインとオプトアウトの違いを、個人情報保護法第27条の原則と例外、要配慮個人情報の扱い、生成AIに入力したデータの学習利用との関係、確認問題で整理します。
- ReActとChain-of-Thoughtの違い｜考えるだけか、考えて外へ調べに行くか（生成AIパスポート）
ReActとChain-of-Thought（思考の連鎖）の違いを、外部の情報源に問い合わせるかどうか・論文の結果で整理します。Yao氏らとWei氏らの論文要旨にもとづく解説と確認問題つき。
よくある質問
Q文単位と固定サイズ（重複あり）のチャンク分割の違いは？
文単位は完全な文でできるように分け、固定サイズ（重複あり）は一定の文字数またはトークン数で分けて、隣り合うチャンクの間を一部重ねます。
Q固定サイズの分割で自分で決める値は？
チャンクの固定サイズと、チャンク間の重複量です。Microsoftの文書は、結果が文書の種類で変わるため、道具で試すよう勧めています。
Qチャンク分割は生成AIパスポートで問われますか？
2027年2月試験から適用される公式シラバスで、RAGの詳細キーワードにチャンク分割が載っています。定義文や分け方の種類は載っていません。
Qチャンクが大きすぎると何が困りますか？
Microsoftの文書では、費用がかかり、モデルのトークン上限を超えることがあり、最良の結果にならないとされています。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: AI資格ドリル編集部（運営者情報を見る）