生成AIの技術の基礎
Transformerとは（Attentionと仕組み）
Transformerは、生成AIパスポートの公式シラバスで、第1章と第2章の両方に詳細キーワードとして載る技術です。Transformerは、再帰も畳み込みも使わず、Attentionだけを基礎にしたネットワーク構造です。
このページは、2017年の原論文と公式シラバスの範囲で、RNNとの違い、Self-Attention、Query・Key・Value、位置エンコーディング、GPTとBERTの違いの要点、出る章を整理しています。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-08-31。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- Transformerは、再帰と畳み込みを使わず、Attention Mechanismだけを基礎にした構造
- RNNは前の位置の結果を待って次を計算するが、Transformerは並列化しやすい
- Self-Attentionは、Query・Key・Valueで「どの要素にどれだけ注目するか」を求める
- 語順の情報は位置エンコーディングで加える
- GPTは左から右、BERTは左右両方の文脈を使う、と向きで区別する
Transformerとは
原論文の冒頭は、それまでの主流を、エンコーダとデコーダを含む複雑な再帰型または畳み込み型のニューラルネットワークだったと説明します。最も良い成績のモデルも、エンコーダとデコーダをAttention Mechanismでつないでいました。そのうえで論文は、再帰と畳み込みをすべて捨て、Attention Mechanismだけを基礎にした新しい構造としてTransformerを提案しています。
RNN（再帰型ニューラルネットワーク）との違いは、計算の進め方にあります。
| 観点 | RNN・LSTM | Transformer |
|---|---|---|
| 原論文での位置づけ | 再帰型のモデルが主流だった | 再帰も畳み込みも使わず、Attentionだけを基礎にした構造を提案 |
| 計算の進め方 | 前の位置の隠れ状態から次を計算するため、学習中の並列化がしにくい | 位置どうしの計算を並列にしやすい |
原論文は、再帰型のモデルが位置の順に計算を進め、1つ前の隠れ状態と現在の入力から次の隠れ状態を作ると説明します。この本質的に逐次的な性質が、1つの学習例の中での並列化を妨げ、系列が長くなるほど問題になるとしています。「RNNは順番に処理する、Transformerは並列にしやすい」が、選択肢を切り分ける軸です。
一次資料: Vaswani et al.「Attention Is All You Need」（arXiv 1706.03762）
Self-AttentionとQuery・Key・Value
Self-Attention（自己注意機構）は、1つの系列の中で、各要素がほかのどの要素にどれだけ注目するかを計算する仕組みです。原論文のScaled Dot-Product Attentionは、次の3つを使います。
| 名前 | 役割 |
|---|---|
| Query（クエリ） | いま取得したい情報を表す |
| Key（キー） | Queryと照らし合わせる対象を表す |
| Value（バリュー） | 重みに応じて集められる内容を表す |
計算の流れは次のとおりです。QueryとすべてのKeyの内積を取り、Keyの次元数の平方根で割ってからsoftmaxを適用します。得られた重みでValueを加重平均します。softmaxの重みは合計が1になります。重みの大きいValueほど、出力に強く反映されます。表の「役割」は一般的な説明で、原論文がこの文言で定義しているわけではありません。
平方根で割る理由も原論文に書かれています。次元が大きいと内積が大きくなり、softmaxが勾配のきわめて小さい領域に入りやすくなるため、その影響を抑えるためです。
原論文はさらに、Query・Key・Valueを複数組の異なる線形射影に写し、各headでAttentionを並列に計算して連結するMulti-Head Attentionを使います。これにより、異なる位置の情報を、異なる表現の面から同時に扱えます。
位置エンコーディングが要る理由
Transformerは再帰も畳み込みも使わないため、語の並び順を計算の順番として持ちません。そこで原論文は、系列の中の位置の情報を入力に加える位置エンコーディングを使っています。
並び順の情報を担うのは位置エンコーディング、語どうしの関係の強さを担うのはAttention、と役割を分けて覚えます。用語集の説明でも、位置エンコーディングはTransformerの補助要素で、中核ではないとされています。
GPTとBERTの違い
GPTとBERTは、どちらもTransformerをもとにしたモデルです。BERTの原論文は、OpenAI GPTを、各トークンが前のトークンにしか注目できない左から右の構造と説明し、BERT自身は左右両方の文脈を同時に使う双方向だと説明しています。事前学習の目的も異なり、BERTはMasked LMで隠した単語を予測します。「次の語を左から順に当てる」のが左から右の型、「隠した語を左右から当てる」のが双方向の型です。
公式シラバスの第2章には、学習項目として「GPTモデルの進化」があります。一方、BERTという語はシラバスの本文に載っていません。詳細キーワードの一覧にGPTという語もありません。 GPTとBERTの事前学習の目的関数や設問の手掛かり語は、BERTとGPTの違いで詳しく比べています。
一次資料: Devlin et al.「BERT」（arXiv 1810.04805）
シラバスのどこに出るか
2027年2月試験から適用される公式シラバスでは、次の3か所にTransformerが載っています。
| 場所 | 内容 |
|---|---|
| 第1章 中項目「ニューラルネットワーク」 | 詳細キーワードにAttention、Transformerモデルが載る |
| 第1章 中項目「AIの歴史」 | 詳細キーワードにTransformer、LLM（大規模言語モデル）が載る |
| 第2章 中項目「生成AIを支える技術革新（Transformer以降）」の学習項目「Transformerモデルの革命」 | 詳細キーワードにTransformer、自然言語処理、Self-Attention（自己注意機構）、Query、Key、Value、並列処理、長距離依存が載る |
第1章は「どんなモデルか」、第2章は「Query・Key・Valueと並列処理」まで踏み込んだ用語として読みます。章立ての変更は2027年2月試験の新シラバスに整理しています。試験での出題を予想するものではありません。
よくある質問
Transformerとは、一言でいうと何ですか？
再帰型や畳み込み型のネットワークを使わず、Attention（注意機構）だけを基礎にした、2017年の論文で提案されたネットワーク構造です。原論文は、これによって系列を扱うモデルをより並列化しやすくしたと説明しています。
Self-Attentionとは何ですか？
ある系列の中の要素どうしで、どの要素にどれだけ注目するかを計算する仕組みです。入力の各位置がQuery・Key・Valueに変換され、QueryとKeyの内積から求めた重みでValueを集めます。
GPTとBERTは、どちらもTransformerを使っているのですか？
BERTの原論文は、OpenAI GPTを、Transformerのself-attention層で各トークンが前のトークンにしか注目できない左から右の構造と説明しています。BERT自身は左右の文脈を同時に使う双方向の事前学習を行います。どちらもTransformerをもとにしていますが、注目できる範囲と事前学習の目的が異なります。
なぜ位置エンコーディングが必要なのですか？
Transformerは再帰も畳み込みも使わないため、そのままでは語の並び順の情報を持ちません。原論文は、位置の情報を入力に加える方法として位置エンコーディングを用いています。
LSTMやRNNは、もう出題されませんか？
公式シラバスの2027年版にも、第1章の詳細キーワードにRNNとLSTMが載っています。Transformerの前に主流だったモデルとして、違いを比べて覚えます。出題の予想ではなく、載っている範囲の話です。
