生成AIの基礎
トークンとは（文字数との違い・コンテキストウィンドウ・課金の単位）
トークンは、2027年2月試験から適用される生成AIパスポートの公式シラバスで、第2章の生成AIの学習プロセスと生成（推論）プロセスの詳細キーワードに、次トークン予測やコンテキストウィンドウとともに並ぶ用語です。トークンは、言語モデルが学習し予測するときの最小の単位で、文字数や単語数とは別の数え方です。
このページは、公式シラバスとGoogleの機械学習用語集、Gemini APIの資料の範囲で、トークンの3つの分け方、次トークン予測、コンテキストウィンドウ、料金との関係を整理しています。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-08-31。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- トークンは、言語モデルが学習し予測するときの最小の単位。単語、文字、サブワードのいずれか
- モデルは、それまでのトークンから次のトークンを予測することを繰り返して文章を作る
- コンテキストウィンドウは、1つのプロンプトで処理できるトークンの数
- API利用の費用は、入力トークンと出力トークンの数で決まる
トークンとは
Googleの機械学習用語集は、トークンを、言語モデルが学習し、予測を行うときの最小の単位（atomic unit）と定義します。 Gemini APIの資料も、Geminiやその他の生成AIモデルは入力と出力をトークン単位で処理し、トークンはテキストの最小単位だと説明します。人が読む「文字」や「単語」ではなく、モデルが処理する単位がトークンです。
一次資料: Google「Machine Learning Glossary」（token）、Google「トークンを理解してカウントする」（Gemini API）
単語・文字・サブワード
用語集は、トークンが通常、単語、文字、サブワードのいずれかだとして、それぞれ例を挙げています。
| 分け方 | 用語集の例 | 要点 |
|---|---|---|
| 単語 | "dogs like cats" は "dogs" "like" "cats" の3トークン | 単語1つを1トークンとする分け方 |
| 文字 | "bike fish" は空白も1つに数えて9トークン | 1文字を1トークンとする分け方 |
| サブワード | "dogs" は語根 "dog" と複数形の "s" の2トークンになりうる | 語根・接頭辞・接尾辞に分ける。1語が1トークンにも複数トークンにもなる |
サブワードを使うモデルでは、長い単語が複数のトークンに分かれます。モデルが使うトークンの全体を語彙、テキストをトークンに分ける処理をトークン化と呼びます。同じ文章でも、どのモデルのトークン化を使うかで、トークンの数は変わります。
一次資料: Google「Machine Learning Glossary」（token）、Google「トークンを理解してカウントする」（Gemini API）
次トークン予測
言語モデルは、それまでのトークンをもとに、次に来るトークンを予測します。用語集は、自己回帰モデルを、自分の以前の予測をもとに予測を行うモデルとし、自己回帰の言語モデルは、前に予測したトークンから次のトークンを予測すると説明します。 Transformerベースの大規模言語モデルはすべて自己回帰です。文章は、次のトークンを1つずつ予測して並べていくことで作られます。
次のトークンをどのくらい散らして選ぶかを決めるのが生成パラメータです。仕組みは生成パラメータ（Temperature・Top-p）とはに、学習の段階は大規模言語モデルの学習にまとめています。
一次資料: Google「Machine Learning Glossary」（auto-regressive model）
コンテキストウィンドウ
用語集は、コンテキストウィンドウを、モデルが1つのプロンプトで処理できるトークンの数と定義します。ウィンドウが大きいほど、モデルが使える情報が増え、一貫した応答を返しやすくなります。上限は文字数ではなく、トークンの数で決まります。上限の大きさはモデルごとに異なり、Gemini APIの資料は、モデルのページで確認するよう案内しています。
長い会話や資料を入れるときに、何をウィンドウに残すかを選ぶ考え方はコンテキストエンジニアリングとはで整理しています。
一次資料: Google「Machine Learning Glossary」（context window）、Google「トークンを理解してカウントする」（Gemini API）
数え方と料金
Gemini APIの資料は、Geminiモデルでは1トークンが約4文字、100トークンが約60〜80ワード（英語）に相当するとしています。 これはGeminiモデルの目安です。分け方はモデルごとに異なるため、日本語を含む正確な数は、各サービスのトークンを数える機能で確かめます。
同じ資料によると、課金が有効な場合、API呼び出しの費用は入力トークンと出力トークンの数で決まります。入力と出力はすべてトークン化され、画像ファイルなど、テキスト以外も対象です。動画は、既定の静的モードで1秒あたり約100トークン（低解像度）または約300トークン（高解像度）と説明されています。「長い入力ほど処理するトークンが増え、費用と上限の両方に響く」と押さえます。
一次資料: Google「トークンを理解してカウントする」（Gemini API）
手掛かり語で見分ける
説明文のどの語に反応するかで、5つの用語を切り分けます。
| 用語 | 手掛かり語 | 役割の要点 |
|---|---|---|
| トークン | 最小の単位、単語・文字・サブワード、約4文字 | モデルが学習し予測するときの最小の単位 |
| トークン化 | テキストを分ける、分割する処理 | テキストをトークンに分けること |
| 語彙 | モデルが使うトークンの全体、セット | モデルで使われるすべてのトークンの集合 |
| 次トークン予測 | 直前までのトークンから次を当てる、自己回帰 | それまでのトークンをもとに、次のトークンを予測する |
| コンテキストウィンドウ | 1回のプロンプトで処理できる数、上限 | モデルが1つのプロンプトで処理できるトークンの数 |
もっともらしい誤りを出す問題はハルシネーションとはに、文脈を踏まえて単語の意味を捉える仕組みはTransformerとはにまとめています。
シラバスのどこに出るか
2027年2月試験から適用される公式シラバスでは、第2章の生成AIの学習プロセスと生成（推論）プロセスの詳細キーワードに、次の語が並んでいます。
| 場所 | 内容 |
|---|---|
| 第2章 生成AIを支える技術革新／生成AIの学習プロセス（詳細キーワード） | 事前学習、次トークン予測、トークン、パラメータ、ハルシネーション、ファインチューニングなどが並ぶ |
| 同／生成AIの生成（推論）プロセス（詳細キーワード） | トークン化、サブワード、埋め込み、生成パラメータ、Temperature、Top-p、コンテキストウィンドウ、トークンなどが並ぶ |
トークンは、次トークン予測とセットで「モデルが扱う単位」として読みます。章立ての変更は2027年2月試験の新シラバスに整理しています。試験での出題を予想するものではありません。
よくある質問
トークンは、文字数や単語数と同じですか？
同じではありません。トークンは、単語、文字、サブワードのいずれかで数えます。Googleの用語集は、サブワードを使うモデルでは1つの語が1トークンにも複数トークンにもなると説明しています。文字数や単語数とは別の数え方です。
1トークンは何文字くらいですか？
Gemini APIの資料では、Geminiモデルで1トークンが約4文字、100トークンが約60〜80ワード（英語）とされています。これはGeminiモデルの目安で、モデルごとに分け方が違うため、他のモデルや日本語の数は、各社の資料やカウントの機能で確認します。
コンテキストウィンドウとは何ですか？
モデルが1つのプロンプトで処理できるトークンの数です。Googleの用語集は、大きいほどモデルが使える情報が増え、一貫した応答が得られるとしています。上限はモデルごとに違います。
なぜ生成AIの料金はトークンで決まるのですか？
Gemini APIの資料では、課金が有効な場合、API呼び出しの費用は入力トークンと出力トークンの数で決まります。入力と出力はすべてトークン化され、画像などテキスト以外も数えられます。
次トークン予測とは何ですか？
それまでのトークンをもとに、次に来るトークンを予測することです。Googleの用語集は、Transformerベースの大規模言語モデルはすべて自己回帰で、前に予測したトークンから次のトークンを予測するとしています。
生成AIパスポートの学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
