生成AIパスポート 用語解説
Attention層とは
Transformerモデルを構成する層の一つで、入力中の要素同士の関連の強さに重みづけを行う自己注意力（Self-Attention）などのAttention Mechanismを実装する部分。
Attention層の意味と見分け方
Attention層は、生成AIパスポートの「第2章 生成AI（ジェネレーティブAI）」に出てくる用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。
公式シラバス（PDF）（公式）試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
「第2章 生成AI（ジェネレーティブAI）」の問題で、取り違えやすい組み合わせです。
- ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
- GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
- Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。
関連する確認問題
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
自己注意力のsoftmax後、2つの語への注意重みが0.75と0.25になり、それぞれのValueが8と20である。出力となる重み付き和はいくつか。
正解は「11」です。Attentionの出力は、softmaxで正規化された注意重みを各Valueへ掛けて足し合わせる。この場合は0.75×8＋0.25×20＝6＋5＝11となる。14はValueの単純平均(8＋20)÷2で、注意重みの違いを無視している。28はValueをそのまま足した値、7は注意重みをValueへ掛けずに別々の数だけを操作した値である。重みの合計が0.75＋0.25＝1であることを確かめてから、重みとValueの対応を崩さず各積を合計する。この順に計算すれば、単純平均や単純合計との違いも検算できる。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
TransformerのMulti-Head Attentionで複数のheadを使う説明として適切なのはどれか。
正解は「Query・Key・Valueを異なる線形射影へ写した各headで並列計算し、異なる位置や表現部分空間の情報を扱う」です。Multi-Head Attentionでは、複数組の学習済み線形射影でQuery・Key・Valueを変換し、各headのAttentionを並列に計算してから結果を連結する。単なる同一結果の複製や多数決ではなく、異なる関係を捉えられることが要点である。また、head同士で再帰状態を順番に渡すRNNの構造ではなく、位置情報以外のheadでAttentionを停止する仕組みでもない。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
Transformerのdecoderで出力系列を自己回帰的に生成するとき、masked self-attentionが防ぐ情報参照はどれか。
正解は「現在位置より後にある、まだ生成していない出力位置の参照」です。decoderのmasked self-attentionは、ある位置から見て後続する位置への接続をsoftmax前に遮断し、その位置の予測が既に生成された位置までの出力だけに依存するようにする。これにより、訓練時に正解系列全体が与えられていても未来の正解を先読みできず、生成時と整合する自己回帰性が保たれる。「現在位置より前に生成済みの出力位置の参照」と「現在位置自身の情報の参照」は許され、「encoderが作った入力系列の表現の参照」はencoder-decoder attentionで別に行える。
同じ章で確認したい用語
到達チェック
- Attention層を一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、Attention層に関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
用語を体系的に学べる書籍（Amazon）
PR
執筆: AI資格ドリル編集部（運営者情報を見る）