G検定 用語解説
位置エンコーディングとは
Transformerが系列を並列処理するために失われがちな単語の並び順の情報を、入力の埋め込みベクトルへ加えて補う仕組み。RNNのように1つずつ逐次処理しなくても順序を扱えるようにする。
まず押さえる結論
位置エンコーディングは、G検定の「大項目5 ディープラーニングの要素技術」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-07-03。
試験概要（公式）試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×CNN（画像・畳み込み/プーリング）とRNN（時系列・系列データ）の使い分け。
×LSTMとGRUのゲート数の混同（LSTM＝3ゲート＋記憶セル、GRU＝2ゲートに簡略化）。
×最適化手法の取り違え（モメンタム＝慣性、AdaGrad/RMSProp＝適応学習率、Adam＝両方）。GAN・VAE・拡散モデルの生成方式の違い。
関連する確認問題
大項目5 ディープラーニングの要素技術 / 畳み込みニューラルネットワーク
CNNで、入力画像の局所領域に同じ小さな重み行列を滑らせ、エッジなどの特徴を抽出する処理に関係するものはどれか。
正解は「フィルタ（カーネル）」である。フィルタ（カーネル）は、CNNで画像の局所領域に適用され、エッジなどの特徴を抽出する畳み込み処理に関係する。全結合層は特徴をまとめて出力へ接続する層、位置エンコーディングはTransformerで順序情報を与える仕組み、方策勾配法は強化学習の手法である。 ネットワーク部品が使われる位置を区別する。全結合層は抽出済み特徴を統合し、位置エンコーディングは系列順序を与え、方策勾配法は強化学習の更新手法である。画像上を走査して局所的な積和を計算するのはフィルタである。
大項目5 ディープラーニングの要素技術 / 生成モデルと注意機構
Transformerで用いられ、複数の注意機構を並列に適用して、系列内の単語どうしの関係を異なる観点から同時に捉える仕組みはどれか。
正解はマルチヘッドアテンション。自己注意を複数のヘッドに分けて並列に計算し、それぞれが異なる観点で単語間の関係を捉えたうえで統合することで、豊かな表現を得る仕組みである。位置エンコーディングは単語の並び順の情報をベクトルに加える工夫、プーリング層は畳み込みで特徴マップを縮約する層、スキップ結合は層を飛び越えて入力を足し込む接続で、いずれも注意を多頭で並列化するこの仕組みとは異なる。 Transformerの部品は付加する情報と計算経路で区別する。位置エンコーディングは順序情報、プーリングは空間要約、スキップ結合は層を越す経路を与える。異なる射影ごとに注意を計算し結果を結合するのがマルチヘッドアテンションである。
大項目5 ディープラーニングの要素技術 / 生成モデルと注意機構
単語列を並列処理するモデルに、語順を識別させる情報を追加した。この情報が必要な理由として正しいものはどれか。
この事例では「再帰を使わない並列処理では位置情報が別途必要か」を確認すると、再帰や畳み込みを使わず要素を並列に扱うため、単語の順序（位置）の情報が失われるからに絞れる。正解は「再帰や畳み込みを使わず要素を並列に扱うため、単語の順序（位置）の情報が失われるから」である。Transformerは再帰（RNN）や畳み込みを使わず、系列の要素を並列に処理するため、そのままでは単語の順序（位置）の情報が失われてしまう。そこで各要素に位置情報を付与する位置エンコーディングが用いられる。正規化・学習率調整・メモリ記録とは無関係。設問では、Transformerの並列処理によって不足する情報と、それを補う処理を対応させる。画像の値、学習率、GPUメモリではなく、系列内で単語がどの位置にあるかという情報を付ける必要がある。
同じ章で確認したい用語
到達チェック
- 位置エンコーディングを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、位置エンコーディングに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）