Attention（注意機構）とは

まず押さえる結論

Attention（注意機構）は、G検定の「大項目5 ディープラーニングの要素技術」に出てくる用語です。見分けの要点は、Attentionは重み付けの仕組みで、Transformerはその仕組みだけに基づいて組み立てたモデル構造です。Self-Attentionは、クエリ・キー・値が同じ場所（同じ系列）から来るAttentionの一種です。再帰も畳み込みも持たない構造では語順を使えないため、位置エンコーディングで位置の情報を入力に加えます。

Attention（注意機構）の具体例と、問題文で見る箇所・隣接概念との境界

モデル全体の名前ではなく、系列内の各要素が他のどの要素にどれだけ注目するかを重み付けして関係を捉える仕組みとして捉える

機械翻訳で、ある単語を訳すときに、原文のどの単語を重く見るかを重みで表す場面を考えます。原論文は、注意関数を「クエリと、キーと値の組の集合を、出力に写す関数」と説明しています。出力は値の重み付き和で、各値の重みはクエリと対応するキーの適合度で決まります。重みの大きい要素ほど、出力に強く反映されます。

問題文で見る箇所

「各要素が他のどの要素に注目すべきかを重み付けする」「クエリ・キー・値」という記述があればAttentionを候補にします。「同じ系列内の要素どうしを関連づける」ならSelf-Attention、「再帰や畳み込みを使わず注意機構だけに基づく」ならモデル構造であるTransformerへ進めます。

隣接概念との境界

Attentionは重み付けの仕組みで、Transformerはその仕組みだけに基づいて組み立てたモデル構造です。Self-Attentionは、クエリ・キー・値が同じ場所（同じ系列）から来るAttentionの一種です。再帰も畳み込みも持たない構造では語順を使えないため、位置エンコーディングで位置の情報を入力に加えます。

誤答しやすい選択肢

• Attentionを、再帰や畳み込みを使わないモデル構造そのものと答える。モデル構造はTransformerで、Attentionはその中核となる重み付けの仕組みです。
• Attentionを、時点ごとに情報を順番に伝える再帰の仕組みと答える。順に計算を進めるのは再帰型のモデルで、Attentionは要素間の関係を重みで捉えます。
• Self-Attentionを、別々の系列の間だけで重みを計算する仕組みと答える。Self-Attentionは、同じ系列の異なる位置どうしを関係づける注意機構です。

4段階の判断手順

1. 01設問が仕組み（重み付け）を問うのか、モデル構造（Transformer）を問うのかを先に分ける。
2. 02「クエリ・キー・値」「他の要素への注目」「重み付き和」という手がかりがあるか確認する。
3. 03同じ系列内の関係づけが条件ならSelf-Attention、入力と出力の系列を結ぶ使い方なら別の用い方として切り分ける。
4. 04再帰や畳み込みを使わない構造が条件ならTransformer、順序の扱いが条件なら位置エンコーディングへ進める。

到達条件: Attentionを要素間の関係を重み付けで捉える仕組みとして説明し、Self-Attention、Transformer、位置エンコーディングとの違いを区別できる。

試験での問われ方

誤答しやすいポイント

「大項目5 ディープラーニングの要素技術」の問題で、取り違えやすい組み合わせです。

• CNN（画像・畳み込み/プーリング）とRNN（時系列・系列データ）の使い分けを取り違える。
• LSTMとGRUのゲート数を混同する（LSTM＝3ゲート＋記憶セル、GRU＝2ゲートに簡略化）。
• 最適化手法を取り違える（モメンタム＝慣性、AdaGrad/RMSProp＝適応学習率、Adam＝両方）。

関連する確認問題

同じ章で確認したい用語