生成AIパスポート 用語解説
位置エンコーディングとは
Transformerモデルで、単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組み。Transformerの補助要素であり、中核ではない。
まず押さえる結論
位置エンコーディングは、生成AIパスポートの「第2章 生成AI（ジェネレーティブAI）」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-08-31。
公式シラバス（PDF）（公式）試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
×GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
×Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。
関連する確認問題
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
Scaled Dot-Product Attentionが、QueryとKeyの内積をKeyの次元数の平方根で割ってからsoftmaxへ渡す主な理由はどれか。
正解は「次元が大きいと内積が過大になり、softmaxの勾配が極めて小さくなりやすい影響を抑えるため」です。原論文ではKeyの次元が大きいとQueryとKeyの内積も大きくなりやすく、softmaxが飽和して勾配が非常に小さくなるため、内積をKeyの次元数の平方根で割る。これは数値の尺度を調整する処理であり、RNNのような逐次処理を強制するものではない。Valueを教師ラベルへ変換する処理でも、語順を伝える位置エンコーディングを置き換える処理でもない。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
GPTをはじめとする現在の多くの大規模言語モデルの基盤となっているアーキテクチャと、その中核的な仕組みの組み合わせとして正しいものはどれか。
正解は「Transformerモデル ── 自己注意力（Self-Attention）」である。現在のGPTモデルなどの基盤はTransformerモデルで、その中核は入力中の各要素の関係に重みづけする自己注意力（Self-Attention）である。畳み込みはCNN、位置エンコーディングはTransformerの補助要素だが中核ではない。ボルツマンマシンは初期の生成モデルの一つ。 モデル名と中心演算を一対一で対応させる。畳み込みはCNNの代表的処理で、位置エンコーディングだけでは入力要素間の関係を計算しない。GPTの基盤であるTransformerと、各要素間の関連度を重み付けする自己注意力の組合せを選ぶ。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
Transformerモデルで、入力された単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みを何というか。
正解は「位置エンコーディング」である。Transformerモデルにおいて、単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みが位置エンコーディングである。自己注意力（Self-Attention）は入力中の要素どうしの関係に重みづけする仕組み、畳み込みはCNNで局所的な特徴を抽出する処理、潜在ベクトルはVAEなどでデータを圧縮した表現であり、いずれも位置の情報を伝える仕組みではない。自己注意力・畳み込み・潜在ベクトルは、それぞれ関係の重みづけ、局所特徴の抽出、データの圧縮表現という別の役割を持つ点で、並び順の情報を伝える位置エンコーディングとは機能が異なる。
同じ章で確認したい用語
他資格でも出題される用語
到達チェック
- 位置エンコーディングを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、位置エンコーディングに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）