生成AIアドバイザー認定試験 用語解説
トークンとは
言語モデルが文章を処理するときの単位。単語そのものではなく、単語より小さい部分（サブワード）に分けて扱う方法がある。2015年の論文は、まれな単語や未知の単語をサブワード単位の並びとして符号化することで、固定された語彙のままでも未知の単語を含む翻訳（オープン語彙の翻訳）ができるとし、バイト対符号化（byte pair encoding）に基づく分割も検討した。英独・英露の翻訳課題（WMT 15）で、辞書に頼る方法よりBLEUが1.1・1.3高くなったと報告している。公式シラバスでは第2課題の第2章「トークン・パラメータ」で、パラメータ・学習データと並べて三要素の関係が問われる。
まず押さえる結論
トークンは、生成AIアドバイザー認定試験の「第2課題 生成AIの基礎理解」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-10-04。
試験概要（公式）試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
「第2課題 生成AIの基礎理解」の問題で、取り違えやすい組み合わせです。
- 大規模言語モデル・拡散モデル・GANの説明の取り違え。次の語を予測するのが大規模言語モデル、ノイズを段階的に取り除くのが拡散モデル、作る側と見分ける側が競い合うのがGANである。
- トークン・パラメータ・学習データの混同。トークンは文章を処理する単位、パラメータは学習で調整される数値、学習データは学習に使う文章などの集まりである。
- 生成AIの特徴を、データを使わない、または誤りが起こらないと考えること。生成AIもデータから学習して動き、新しい文章や画像を作れる一方で、誤りも起こる。
関連する確認問題
第2課題 生成AIの基礎理解 / 第2章 トークン・パラメータ
大規模言語モデルにおける「トークン」の説明として、最も適切なものはどれか。
正解は「モデルが文章を処理するときに使う、語や語の断片といった文字列の区切りの単位である」である。大規模言語モデルは、入力された文章をまずトークンに分けてから処理する。学習で調整される数値の総数はパラメータ、学習に使う文章の集まりは学習データという別の用語で、トークンはその文章を区切った処理の単位にあたる。認証用の番号という日常語の意味とは異なる点にも注意が必要である。トークン、パラメータ、学習データの3つは、役割の違いで区別して覚える。
同じ章で確認したい用語
到達チェック
- トークンを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、トークンに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）