Transformerとは

まず押さえる結論

Transformerは、DS検定の「第5章 データ準備・可視化技法とモデル化」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。

具体例から判断の境界を固める

畳み込みや再帰ではなく、自己注意機構によって系列内の関係を並列に捉えるモデル構造として捉える

文章のように順序を持つ系列データを扱う際、CNNは局所的な範囲の特徴を畳み込みで抽出し、RNN（LSTMやGRU、双方向RNNを含む）は時点ごとに情報を順番に伝える再帰構造を使います。これに対しTransformerは、再帰や畳み込みの構造を使わず、系列内の各要素が他のどの要素にどれだけ関連するかを表す自己注意（Self-Attention）を計算して情報を重み付けします。この構造により、BERTやGPTのような大規模言語モデルの基盤として使われています。

問題文で見る箇所

「再帰や畳み込みを使わない」「自己注意（Self-Attention）を全面的に採用する」という記述があればTransformerを候補にします。BERTかGPTかを問う設問では、Transformerを基盤とする点は共通させたうえで、文脈を双方向に捉えるか（BERT）、左から右への一方向・自己回帰で捉えるか（GPT）で区別します。

隣接概念との境界

CNNは畳み込みによる局所特徴の抽出、RNN（LSTM・GRU・双方向RNNを含む）は再帰構造による時系列的な情報伝達を行うモデル構造です。Transformerはこれらの構造を使わず自己注意を中核に据える点で異なります。またAttention（注意機構）自体はTransformerの中核をなす仕組みであり、Transformerという語はその仕組みを全面的に採用したモデル構造全体を指します。

誤答しやすい選択肢

• ×系列内の関係を捉える構造を問われて、時点ごとに情報を順番に伝える再帰構造（RNN、LSTM、GRU、双方向RNN）をTransformerと呼ぶ。Transformerは再帰構造を使わない点が異なります。
• ×局所的な範囲の特徴を畳み込みで抽出する構造（CNN）をTransformerと呼ぶ。Transformerは畳み込みではなく自己注意によって関係を捉えます。
• ×BERTとGPTを、文脈を捉える方向の違い（双方向か一方向・自己回帰か）を無視して同じ扱いにする。両者ともTransformerを基盤とする点は共通しますが、事前学習の方向が異なります。

4段階の判断手順

1. 01設問が畳み込み、再帰、自己注意のどの構造を述べているかを先に読み分ける。
2. 02「再帰や畳み込みを用いない」「注意機構を全面的に採用する」という条件があるかを確認する。
3. 03BERT・GPTを問う設問では、Transformerを基盤とする共通点と、双方向か一方向かという違いを分けて確認する。
4. 04Attention（注意機構）という要素技術と、それを中核に据えたモデル構造であるTransformerを混同していないか見直す。

到達条件: Transformerを自己注意による並列処理として説明し、CNN・RNNとの構造の違い、BERT・GPTとの関係を言える。

試験での問われ方

誤答しやすいポイント

関連する確認問題

同じ章で確認したい用語