生成AIパスポート用語解説

Transformerとは

自己注意（Self-Attention）を中核とするアーキテクチャ。現在の多くの大規模言語モデルの基盤。

まず押さえる結論

Transformerは、生成AIパスポートの「第2章生成AI（ジェネレーティブAI）」に出てくる用語です。見分けの要点は、CNNは畳み込みによる局所特徴の抽出、RNN（LSTM・GRU・双方向RNNを含む）は再帰構造による時系列的な情報伝達を行うモデル構造です。Transformerは、CNNの畳み込みやRNNの再帰を使わず、自己注意を中核に据える点で異なります。またAttention（注意機構）自体はTransformerの中核をなす仕組みであり、Transformerという語はその仕組みを全面的に採用したモデル構造全体を指します。

情報源と編集区分

公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。一次情報確認日: 2026-08-31。

公式シラバス（PDF）（公式）

Transformerの具体例と、問題文で見る箇所・隣接概念との境界

畳み込みや再帰ではなく、自己注意機構によって系列内の関係を並列に捉えるモデル構造として捉える

文章のように順序を持つ系列データを扱う際、CNNは局所的な範囲の特徴を畳み込みで抽出し、RNN（LSTMやGRU、双方向RNNを含む）は時点ごとに情報を順番に伝える再帰構造を使います。これに対しTransformerは、再帰や畳み込みの構造を使わず、系列内の各要素が他のどの要素にどれだけ関連するかを表す自己注意（Self-Attention）を計算して情報を重み付けします。この構造により、BERTやGPTのような大規模言語モデルの基盤として使われています。

問題文で見る箇所: 「再帰や畳み込みを使わない」「自己注意（Self-Attention）を全面的に採用する」という記述があればTransformerを候補にします。BERTかGPTかを問う設問では、Transformerを基盤とする点は共通させたうえで、文脈を双方向に捉えるか（BERT）、左から右への一方向・自己回帰で捉えるか（GPT）で区別します。
隣接概念との境界: CNNは畳み込みによる局所特徴の抽出、RNN（LSTM・GRU・双方向RNNを含む）は再帰構造による時系列的な情報伝達を行うモデル構造です。Transformerは、CNNの畳み込みやRNNの再帰を使わず、自己注意を中核に据える点で異なります。またAttention（注意機構）自体はTransformerの中核をなす仕組みであり、Transformerという語はその仕組みを全面的に採用したモデル構造全体を指します。

誤答しやすい選択肢

系列内の関係を捉える構造を問われて、時点ごとに情報を順番に伝える再帰構造（RNN、LSTM、GRU、双方向RNN）をTransformerと呼ぶ。Transformerは再帰構造を使わない点が異なります。
局所的な範囲の特徴を畳み込みで抽出する構造（CNN）をTransformerと呼ぶ。Transformerは畳み込みではなく自己注意によって関係を捉えます。
BERTとGPTを、文脈を捉える方向の違い（双方向か一方向・自己回帰か）を無視して同じ扱いにする。両者ともTransformerを基盤とする点は共通しますが、事前学習の方向が異なります。

4段階の判断手順

01設問が畳み込み、再帰、自己注意のどの構造を述べているかを先に読み分ける。
02「再帰や畳み込みを用いない」「注意機構を全面的に採用する」という条件があるかを確認する。
03BERT・GPTを問う設問では、Transformerを基盤とする共通点と、双方向か一方向かという違いを分けて確認する。
04Attention（注意機構）という要素技術と、それを中核に据えたモデル構造であるTransformerを混同していないか見直す。

到達条件: Transformerを自己注意による並列処理として説明し、CNN・RNNとの構造の違い、BERT・GPTとの関係を言える。

試験での問われ方

定義の言い換え

用語そのものではなく、説明文の一部を言い換えて出されることがあります。

似た概念との比較

同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。

具体例からの判断

問題文の事例が、定義のどの部分に対応しているかを先に確認します。

誤答しやすいポイント

「第2章生成AI（ジェネレーティブAI）」の問題で、取り違えやすい組み合わせです。

ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。