生成AIパスポート 用語解説
Transformerとは
自己注意（Self-Attention）を中核とするアーキテクチャ。現在の多くの大規模言語モデルの基盤。
まず押さえる結論
Transformerは、生成AIパスポートの「第2章 生成AI（ジェネレーティブAI）」で確認しておきたい用語です。 定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
- ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
- GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
- Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。
関連する確認問題
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
GPTをはじめとする現在の多くの大規模言語モデルの基盤となっているアーキテクチャと、その中核的な仕組みの組み合わせとして正しいものはどれか。
現在のGPTモデルなどの基盤はTransformerモデルで、その中核は入力中の各要素の関係に重みづけする自己注意力（Self-Attention）である。畳み込みはCNN、位置エンコーディングはTransformerの補助要素だが中核ではない。ボルツマンマシンは初期の生成モデルの一つ。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
入力データをエンコーダで潜在ベクトルに圧縮し、デコーダで元のデータを復元するように学習する生成モデルはどれか。
VAE（変分自己符号化器）は、エンコーダで入力を潜在ベクトルへ圧縮し、デコーダで復元する構造を持つ生成モデル。GANは生成器と識別器を競わせる方式、Transformerは自己注意力を中核とするモデル、LSTMは系列データ向けのモデルで、エンコーダ・デコーダと潜在ベクトルで復元する方式ではない。
第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで
系列データ（シーケンスデータ）を扱うニューラルネットワークのうち、RNNを改良し、長い系列でも情報を保持しやすくしたモデルはどれか。
長い系列でも情報を保持しやすいよう改良された、長・短期記憶と呼ばれるモデルがLSTM（長・短期記憶）。CNNは畳み込みで画像の局所特徴を扱うモデル、ボルツマンマシンは初期の確率的な生成モデル、Transformerモデルは自己注意力を中核とするモデルで、いずれも『長・短期記憶』と呼ばれるものではない。
同じ章で確認したい用語
到達チェック
- Transformerを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、Transformerに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる