生成AIパスポート 用語解説
Attention Mechanismとは
文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組み。Transformerモデルの中核的な処理の一つ。
まず押さえる結論
Attention Mechanismは、生成AIパスポートの「第2章 生成AI（ジェネレーティブAI）」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-08-31。
公式シラバス（PDF）（公式）試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
×GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
×Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。
関連する確認問題
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
Transformerのdecoderで出力系列を自己回帰的に生成するとき、masked self-attentionが防ぐ情報参照はどれか。
正解は「現在位置より後にある、まだ生成していない出力位置の参照」です。decoderのmasked self-attentionは、ある位置から見て後続する位置への接続をsoftmax前に遮断し、その位置の予測が既に生成された位置までの出力だけに依存するようにする。これにより、訓練時に正解系列全体が与えられていても未来の正解を先読みできず、生成時と整合する自己回帰性が保たれる。「現在位置より前に生成済みの出力位置の参照」と「現在位置自身の情報の参照」は許され、「encoderが作った入力系列の表現の参照」はencoder-decoder attentionで別に行える。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
Scaled Dot-Product Attentionで、あるQueryとKeyの内積が18、Keyの次元数が9である。softmaxへ渡す前に、内積をKeyの次元数の平方根で割ったスコアはいくつか。
正解は「6」です。Scaled Dot-Product Attentionでは、QueryとKeyの内積をKeyの次元数の平方根で割ってからsoftmaxへ渡す。Keyの次元数は9なので平方根は3となり、18÷√9＝18÷3＝6である。2は18を次元数9で直接割った値、3は√9だけを求めて内積18を割っていない値、18はスケーリング前の内積をそのまま残した値である。分母が次元数そのものではなく、その平方根であることを先に確認して計算する。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
Transformerのdecoderに6個の出力位置がある。因果マスクを使うmasked self-attentionで、4番目の位置が現在位置自身を含めて直接参照できる出力位置は何個か。
正解は「4個」です。decoderの因果マスクは、現在位置より後の未来位置を参照できないようにする一方、現在位置自身とそれ以前の位置は参照できる。4番目の位置から参照可能なのは1番目、2番目、3番目、4番目の4個であり、5番目と6番目は未来位置として遮断される。これは、次の出力を予測するときに、すでに得られた位置までの情報だけを使う自己回帰生成と訓練時の参照条件をそろえるためである。2個は遮断される未来位置だけを数え、3個は現在位置自身を除外し、6個はマスクを適用せず全位置を数えた値である。現在の番号までを含め、番号より後だけを除くことが要点になる。
同じ章で確認したい用語
到達チェック
- Attention Mechanismを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、Attention Mechanismに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）