生成AIパスポート 用語解説
Attention層とは
Transformerモデルを構成する層の一つで、入力中の要素同士の関連の強さに重みづけを行う自己注意力（Self-Attention）などのAttention Mechanismを実装する部分。
まず押さえる結論
Attention層は、生成AIパスポートの「第2章 生成AI（ジェネレーティブAI）」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-06-27。
公式シラバス（PDF）（公式）試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
×GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
×Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。
関連する確認問題
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
Transformerモデルの中核をなす仕組みとして、最も適切なものはどれか。
正解は「系列内の各要素が互いにどれだけ関連するかを計算する自己注意（Self-Attention）」である。Transformerモデルは、再帰や畳み込みを用いず、系列内の各要素が互いにどれだけ関連するかを計算する自己注意（Self-Attention）を中核とする。これにより長い系列でも並列に効率よく処理でき、大規模言語モデルの基盤となった。畳み込みはCNN、再帰はRNNの仕組みであり、Transformerの中核ではない。選択肢では、系列内の要素同士の関連を計算する処理か、画像を格子状に扱う処理か、順番に再帰処理する構造か、多数の決定木を組み合わせる方法かを分ける。Transformerと対応するのは自己注意だけである。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
Transformerモデルにおいて、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みを何というか。
正解は「Attention Mechanism（注意機構）」である。Attention Mechanismは、Transformerモデルにおいて文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである。正則化とドロップアウトはニューラルネットワークの過学習を抑えるための手法、データ拡張技術は既存データを加工して学習データを水増しする手法であり、いずれも単語間の関連度に重みづけをして文脈を捉える仕組みそのものを指す語ではない。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
Transformerモデルの構造に関する次の説明のうち、誤っているものはどれか。
正解は「位置エンコーディングとは、文中の各単語が他のどの単語と強く関連しているかに応じて重みづけを行い、文脈を捉える仕組みである」（誤り）である。位置エンコーディングは、Transformerモデルで入力された単語の並び順（位置）の情報をモデルに伝えるために加えられる仕組みであり、設問の説明はAttention Mechanismの定義を位置エンコーディングに誤って当てはめている。アーキテクチャ・Attention Mechanism・ニューラルネットワークの説明はいずれも正しい。
同じ章で確認したい用語
到達チェック
- Attention層を一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、Attention層に関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）