G検定 用語解説
Transformerとは
自己注意機構で系列内の単語間の関係を並列に捉える深層学習モデル。BERTやGPTなど大規模言語モデルの基盤。
まず押さえる結論
Transformerは、G検定の「大項目5 ディープラーニングの要素技術」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
混同しやすい用語との差
CNN / RNN / Transformer
CNNは画像の局所的な特徴抽出、RNNは系列データの処理でよく使われます。
Transformerは自己注意を中核にし、自然言語処理や生成AIの基盤で重要です。
見分け方: 用途だけでなく、畳み込み、再帰、自己注意という構造の違いを見ます。
試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×CNN（画像・畳み込み/プーリング）とRNN（時系列・系列データ）の使い分け。
×LSTMとGRUのゲート数の混同（LSTM＝3ゲート＋記憶セル、GRU＝2ゲートに簡略化）。
×最適化手法の取り違え（モメンタム＝慣性、AdaGrad/RMSProp＝適応学習率、Adam＝両方）。GAN・VAE・拡散モデルの生成方式の違い。
関連する確認問題
大項目5 ディープラーニングの要素技術 / 生成モデルと注意機構
再帰や畳み込みの構造を用いず、系列内の各要素が互いにどれだけ関連するかを表す重みを計算する注意の仕組みを全面的に採用した、系列データを扱う多くのタスクで主流となったモデルはどれか。
正解は「Transformer」である。再帰や畳み込みを用いず、系列内の要素同士の関連度（自己注意）を計算して情報を重み付けするのはTransformer。LSTM・GRU・双方向RNNはいずれも再帰構造を基礎とする手法であり、注意機構を全面的に採用したモデルではない。 選択肢を切るときは、設問の条件を「Transformer」「自己注意（Self-Attention）」「Attention（注意機構）」のどれに結び付けるかを先に固定する。「双方向RNN」、「GRU」、「LSTM」は名称が近い、または同じ分野に見える場合があるが、対象・役割・前提が設問文とずれる。正解の「Transformer」は、問われている定義や状況に最も直接対応する点で選べる。
大項目5 ディープラーニングの要素技術 / 生成モデルと注意機構
Transformerで用いられる自己注意（Self-Attention）機構が行うことの説明として、最も適切なものはどれか。
正解は「系列内の各要素が、同じ系列内の他の要素とどれだけ関連するかを計算し、文脈に応じた表現を作る」である。自己注意（Self-Attention）は、系列内の各要素が同じ系列内の他の要素とどれだけ関連するか（注意の重み）を計算し、文脈に応じた表現を作る仕組みである。畳み込みはCNN、1つずつ順番に処理して状態を渡すのはRNN、ランダムに間引くのはドロップアウトの説明であり、いずれも自己注意とは異なる。 選択肢を切るときは、設問の条件を「自己注意（Self-Attention）」「Attention（注意機構）」「Transformer」のどれに結び付けるかを先に固定する。他の選択肢は名称が近い、または同じ分野に見える場合があるが、対象・役割・前提が設問文とずれる。正解選択肢は、問われている定義や状況に最も直接対応する点で選べる。
大項目5 ディープラーニングの要素技術 / 生成モデルと注意機構
Transformerに「位置エンコーディング（位置情報の付与）」が必要とされる理由として、最も適切なものはどれか。
正解は「再帰や畳み込みを使わず要素を並列に扱うため、単語の順序（位置）の情報が失われるから」である。Transformerは再帰（RNN）や畳み込みを使わず、系列の要素を並列に処理するため、そのままでは単語の順序（位置）の情報が失われてしまう。そこで各要素に位置情報を付与する位置エンコーディングが用いられる。正規化・学習率調整・メモリ記録とは無関係。 選択肢を切るときは、設問の条件を「位置エンコーディング」「Transformer」「自己注意（Self-Attention）」のどれに結び付けるかを先に固定する。他の選択肢は名称が近い、または同じ分野に見える場合があるが、対象・役割・前提が設問文とずれる。正解選択肢は、問われている定義や状況に最も直接対応する点で選べる。
同じ章で確認したい用語
到達チェック
- Transformerを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、Transformerに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる