用語比較
RNNとTransformerの違い
RNNとTransformerは、どちらも文章のような系列データを扱うモデルです。違いは、系列をどう処理するかにあります。RNNは前の時刻の状態を次の時刻へ引き継いで順に計算し、Transformerは再帰を使わず、注意機構で系列内の位置同士の関係を捉えます。
G検定の設問では、手がかり語から二つを切り分けられるかが問われます。前の状態を次へ渡す再帰構造ならRNN、再帰も畳み込みも使わず注意機構だけで組むならTransformerと、最初に判断します。
このページでは、計算の進め方、並列化のしやすさ、語順の扱いという三つの軸で比較します。原論文が示す計算の順序の数（O(1)とO(n)）と、位置エンコーディングが必要になる理由まで、設問の言い回しに結びつけて整理します。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
RNN
ある時刻の中間層の状態を次の時刻の入力として取り込む再帰構造を持つ。系列を先頭から順に処理するため、語順は計算の順序そのものに含まれる。
Transformer
再帰も畳み込みも使わず、注意機構だけで組んだモデル。系列内の位置同士を並列に結びつけるため、語順を使うには位置エンコーディングを足す。
違いを表で確認
| 比較軸 | RNN | Transformer |
|---|---|---|
| 計算の進め方 | 位置tの隠れ状態を、1つ前の隠れ状態と位置tの入力から順に作る | 自己注意で、系列内のすべての位置を結びつける |
| 並列化 | 計算が逐次的なため、1つの学習例の内部では並列化できない | 並列化しやすく、学習時間が大幅に短い |
| 逐次操作の数（原論文の表1） | O(n)（nは系列長） | O(1) |
| 2つの位置を結ぶ経路の最大長（同表） | O(n) | O(1) |
| 語順の扱い | 処理する順序そのものが語順を表す | 再帰がないため、位置エンコーディングを入力の埋め込みに加える |
| 選択肢で探すキーワード | 再帰構造、前の時刻の状態、時系列、逐次処理 | 自己注意、並列処理、位置エンコーディング、BERT・GPTの基盤 |
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
RNNとLSTMの関係で止まっている人
LSTMやGRUは、RNNの長い系列での学習の難しさを和らげる仕組みで、再帰構造を持つ点はRNNと同じ系統です。Transformerは再帰そのものを使わない点で、別の系統です。
Transformerを大規模言語モデルの名前だと思っている人
Transformerは、BERTやGPTなどの大規模言語モデルの土台になる構造の名前です。個別のモデル名ではありません。BERTとGPTの違いは別のページで扱います。
位置エンコーディングの役割があいまいな人
Transformerは再帰を持たないため、そのままでは語順の情報が入りません。位置エンコーディングは、語順を使えるようにするために、入力の埋め込みへ位置の情報を足す仕組みです。
具体例で使い分ける
例 1
設問が「前の時刻の状態を次の時刻の入力にする」と述べるとき
モデル名を選ぶ設問で、中間層の状態を次の時刻へ引き継ぐ構造が書かれています。
- ある時刻の中間層の状態を次の時刻の入力として取り込むのは、RNNの再帰構造です。
- Transformerは再帰を使わず、注意機構で系列内の位置同士を結びつけます。
結論: 前の状態を次へ渡す再帰構造が決め手なら、RNNを選びます。
例 2
設問が「再帰も畳み込みも使わず、注意機構だけで構成する」と述べるとき
モデル名を選ぶ設問で、構成要素が注意機構だけだと書かれています。
- 原論文は、Transformerを再帰と畳み込みを完全にやめ、注意機構だけに基づく構造として提案しています。
- RNNは再帰構造が本体なので、この記述には当てはまりません。
結論: 注意機構だけで組むという記述が決め手なら、Transformerを選びます。
例 3
設問が「並列化しやすく学習時間が短い」理由を尋ねるとき
Transformerが長い系列の学習で有利とされる理由を選ぶ設問です。
- RNNは位置tの隠れ状態を1つ前の隠れ状態から作るため、1つの学習例の内部で並列化できません。
- Transformerの自己注意は、逐次操作の数がO(1)で、位置同士を並列に結びつけられます。
結論: 並列化しやすい理由は、再帰を使わず自己注意で位置同士を結びつけることです。
問題文から答えを選ぶ手順
- 1
構造の記述を探す
再帰構造・前の時刻の状態とあればRNN、注意機構だけ・再帰も畳み込みも使わないとあればTransformerです。
- 2
並列化への言及を見る
学習時間の短さ・並列化のしやすさが理由として出れば、Transformerの側です。
- 3
語順の扱いを確認する
位置エンコーディングの記述があればTransformerです。RNNは処理の順序自体が語順を表します。
- 4
近い用語を除外する
LSTM・GRUは再帰構造を持つRNN系、Self-AttentionはTransformerの中核の仕組みです。構造全体を問われているのか、部品を問われているのかを分けます。
試験での見分け方
- 1前の時刻の状態を次へ渡す再帰構造はRNN。
- 2再帰も畳み込みも使わず注意機構だけで組むのはTransformer。
- 31つの学習例の内部で並列化しにくいのはRNN。
- 4位置エンコーディングで語順を補うのはTransformer。
- 5LSTMとGRUは再帰構造を持つRNN系のモデル。
- 6BERTやGPTなどの大規模言語モデルはTransformerを土台にする。
誤答しやすい選択肢
TransformerもRNNの一種と思う
修正: Transformerは再帰を完全にやめ、注意機構だけに基づく構造です。再帰構造を持つRNN系とは別系統です。
RNNも自己注意で位置を並列に結ぶと思う
修正: RNNは位置tの隠れ状態を1つ前の隠れ状態から順に作るため、1つの学習例の内部では並列化できません。
Transformerは語順を自動で扱えると思う
修正: 再帰も畳み込みも持たないため、語順を使うには位置エンコーディングを入力の埋め込みへ加える必要があります。
Transformerが常にRNNより計算量が小さいと思う
修正: 原論文の表1では、層ごとの計算量は自己注意がO(n²・d)、再帰がO(n・d²)です。自己注意の層が速くなるのは、系列長nが表現の次元dより小さい場合と述べられています。
確認問題
Q1中間層の状態を次の時刻の入力として取り込む再帰構造を持つのは、RNNとTransformerのどちらですか？
答え: RNN
RNNは前の時刻の状態を次の時刻へ引き継ぐ再帰構造を持ちます。Transformerは再帰を使いません。
Q2再帰も畳み込みも使わず、注意機構だけに基づく構造はどちらですか？
答え: Transformer
原論文は、Transformerを再帰と畳み込みを完全にやめて注意機構だけに基づく構造として提案しています。
Q3Transformerが語順の情報を使うために、入力の埋め込みへ加えるものは何ですか？
答え: 位置エンコーディング
再帰も畳み込みも持たないため、トークンの位置の情報を位置エンコーディングとして埋め込みに加えます。原論文は正弦波と余弦波を使っています。
到達チェック
- RNNの再帰構造を説明できる
- Transformerが再帰も畳み込みも使わないことを説明できる
- 並列化しやすさの違いの理由を説明できる
- 位置エンコーディングが必要になる理由を説明できる
- LSTM・GRUがRNN系だと位置づけられる
関連ページで確認する
同じ資格で次に知りたいこと
- Q学習と方策勾配法の違い
Q学習と方策勾配法の違いを、学習する対象、方策の導き方、代表的な論文、G検定での判断手順と確認問題まで解説します。
- 線形回帰とロジスティック回帰の違い
線形回帰とロジスティック回帰の違いを、予測する対象、出力の形、分類へのしきい値、G検定での判断手順と確認問題まで解説します。
- ドロップアウトとバッチ正規化の違い
ドロップアウトとバッチ正規化の違いを、何をするか、狙い、学習時と予測時の扱い、G検定での判断手順と確認問題まで解説します。
よくある質問
QRNNとTransformerの一番大きな違いは何ですか？
再帰構造の有無です。RNNは前の時刻の状態を次へ引き継いで順に計算します。Transformerは再帰も畳み込みも使わず、注意機構だけで系列内の位置同士を結びつけます。
QTransformerはなぜ並列化しやすいのですか？
原論文は、再帰型モデルは位置ごとの隠れ状態を1つ前の状態から順に作るため、学習例の内部で並列化できないと述べます。Transformerは再帰を使わないため、並列化しやすく学習時間が短くなります。
Q位置エンコーディングはなぜ必要ですか？
Transformerは再帰も畳み込みも持たないため、そのままでは語順の情報が入りません。入力の埋め込みに位置の情報を加えることで、語順を使えるようにします。
Q試験中に最短で見分ける方法は？
構造の記述を見ます。前の時刻の状態を次へ渡す再帰構造ならRNN、注意機構だけで組む構造ならTransformerです。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）