G検定 用語解説
Transformerとは
自己注意機構で系列内の単語間の関係を並列に捉える深層学習モデル。BERTやGPTなど大規模言語モデルの基盤。
まず押さえる結論
Transformerは、G検定の「大項目5 ディープラーニングの要素技術」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-07-03。
試験概要（公式）混同しやすい用語との差
CNN / RNN / Transformer
CNNは画像の局所的な特徴抽出、RNNは系列データの処理でよく使われます。
Transformerは自己注意を中核にし、自然言語処理や生成AIの基盤で重要です。
見分け方: 用途だけでなく、畳み込み、再帰、自己注意という構造の違いを見ます。
具体例から判断の境界を固める
畳み込みや再帰ではなく、自己注意機構によって系列内の関係を並列に捉えるモデル構造として捉える
文章のように順序を持つ系列データを扱う際、CNNは局所的な範囲の特徴を畳み込みで抽出し、RNN（LSTMやGRU、双方向RNNを含む）は時点ごとに情報を順番に伝える再帰構造を使います。これに対しTransformerは、再帰や畳み込みの構造を使わず、系列内の各要素が他のどの要素にどれだけ関連するかを表す自己注意（Self-Attention）を計算して情報を重み付けします。この構造により、BERTやGPTのような大規模言語モデルの基盤として使われています。
- 問題文で見る箇所
- 「再帰や畳み込みを使わない」「自己注意（Self-Attention）を全面的に採用する」という記述があればTransformerを候補にします。BERTかGPTかを問う設問では、Transformerを基盤とする点は共通させたうえで、文脈を双方向に捉えるか（BERT）、左から右への一方向・自己回帰で捉えるか（GPT）で区別します。
- 隣接概念との境界
- CNNは畳み込みによる局所特徴の抽出、RNN（LSTM・GRU・双方向RNNを含む）は再帰構造による時系列的な情報伝達を行うモデル構造です。Transformerはこれらの構造を使わず自己注意を中核に据える点で異なります。またAttention（注意機構）自体はTransformerの中核をなす仕組みであり、Transformerという語はその仕組みを全面的に採用したモデル構造全体を指します。
誤答しやすい選択肢
- 系列内の関係を捉える構造を問われて、時点ごとに情報を順番に伝える再帰構造（RNN、LSTM、GRU、双方向RNN）をTransformerと呼ぶ。Transformerは再帰構造を使わない点が異なります。
- 局所的な範囲の特徴を畳み込みで抽出する構造（CNN）をTransformerと呼ぶ。Transformerは畳み込みではなく自己注意によって関係を捉えます。
- BERTとGPTを、文脈を捉える方向の違い（双方向か一方向・自己回帰か）を無視して同じ扱いにする。両者ともTransformerを基盤とする点は共通しますが、事前学習の方向が異なります。
4段階の判断手順
- 01設問が畳み込み、再帰、自己注意のどの構造を述べているかを先に読み分ける。
- 02「再帰や畳み込みを用いない」「注意機構を全面的に採用する」という条件があるかを確認する。
- 03BERT・GPTを問う設問では、Transformerを基盤とする共通点と、双方向か一方向かという違いを分けて確認する。
- 04Attention（注意機構）という要素技術と、それを中核に据えたモデル構造であるTransformerを混同していないか見直す。
到達条件: Transformerを自己注意による並列処理として説明し、CNN・RNNとの構造の違い、BERT・GPTとの関係を言える。
試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×CNN（画像・畳み込み/プーリング）とRNN（時系列・系列データ）の使い分け。
×LSTMとGRUのゲート数の混同（LSTM＝3ゲート＋記憶セル、GRU＝2ゲートに簡略化）。
×最適化手法の取り違え（モメンタム＝慣性、AdaGrad/RMSProp＝適応学習率、Adam＝両方）。GAN・VAE・拡散モデルの生成方式の違い。
関連する確認問題
大項目5 ディープラーニングの要素技術 / 生成モデルと注意機構
長い仕様書の冒頭と末尾にある関連語を、距離にかかわらず直接結び付けて表現する機構はどれか。
この事例では「離れたトークン間の依存関係を直接計算するか」を確認すると、系列内の各要素が、同じ系列内の他の要素とどれだけ関連するかを計算し、文脈に応じた表現を作るに絞れる。正解は「系列内の各要素が、同じ系列内の他の要素とどれだけ関連するかを計算し、文脈に応じた表現を作る」である。自己注意（Self-Attention）は、系列内の各要素が同じ系列内の他の要素とどれだけ関連するか（注意の重み）を計算し、文脈に応じた表現を作る仕組みである。畳み込みはCNN、1つずつ順番に処理して状態を渡すのはRNN、ランダムに間引くのはドロップアウトの説明であり、いずれも自己注意とは異なる。処理の違いを、画像の局所処理、時系列の逐次処理、過学習対策、系列内の関連計算に分ける。Transformerの自己注意に対応するのは、同じ系列の要素同士を比較して文脈を作る処理である。
大項目5 ディープラーニングの要素技術 / 生成モデルと注意機構
再帰構造を使わない文章モデルへ、単語の順番を表す符号を埋め込んだ。この符号はどれか。
この事例では「系列の位置をモデルへ明示する情報か」を確認すると、再帰や畳み込みを使わず要素を並列に扱うため、単語の順序（位置）の情報が失われるからに絞れる。正解は「再帰や畳み込みを使わず要素を並列に扱うため、単語の順序（位置）の情報が失われるから」である。Transformerは再帰（RNN）や畳み込みを使わず、系列の要素を並列に処理するため、そのままでは単語の順序（位置）の情報が失われてしまう。そこで各要素に位置情報を付与する位置エンコーディングが用いられる。正規化・学習率調整・メモリ記録とは無関係。設問では、Transformerの並列処理によって不足する情報と、それを補う処理を対応させる。画像の値、学習率、GPUメモリではなく、系列内で単語がどの位置にあるかという情報を付ける必要がある。
大項目5 ディープラーニングの要素技術 / 生成モデルと注意機構
質問応答モデルが質問中の各語と資料中の各語の関連度を計算して回答箇所を捉えた。この中心機構はどれか。
この事例では「要素間の関連を注意の重みとして求めるか」を確認すると、系列内の各要素が、同じ系列内の他の要素とどれだけ関連するかを計算し、文脈に応じた表現を作るに絞れる。正解は「系列内の各要素が、同じ系列内の他の要素とどれだけ関連するかを計算し、文脈に応じた表現を作る」である。自己注意（Self-Attention）は、系列内の各要素が同じ系列内の他の要素とどれだけ関連するか（注意の重み）を計算し、文脈に応じた表現を作る仕組みである。畳み込みはCNN、1つずつ順番に処理して状態を渡すのはRNN、ランダムに間引くのはドロップアウトの説明であり、いずれも自己注意とは異なる。処理の違いを、画像の局所処理、時系列の逐次処理、過学習対策、系列内の関連計算に分ける。Transformerの自己注意に対応するのは、同じ系列の要素同士を比較して文脈を作る処理である。
同じ章で確認したい用語
到達チェック
- Transformerを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、Transformerに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）