AI資格ドリル
資格を選ぶ↓

用語比較

Seq2SeqとTransformerの違い（G検定の機械翻訳モデルの見分け方）

Seq2Seqは、多層のLSTMで入力の系列を固定次元のベクトルに写し、別の深いLSTMでそのベクトルから目的の系列を復号するモデルです。Transformerは、再帰と畳み込みを完全に使わず、注意機構だけで組んだモデルです。

どちらも、ある系列を別の系列に変える機械翻訳で成果を示したモデルです。違いは、Seq2SeqがLSTMを土台にしていることと、Transformerが注意機構だけで並列化しやすく、学習時間が大幅に短いと述べられていることにあります。

G検定のシラバスでは、自然言語処理の項目にSeq2Seq、深層学習の基礎と注意機構の項目にTransformerが挙がります。このページは、2つの名前と土台の技術を取り違えている人向けです。

RNNとTransformerの違い全般や、注意機構とSelf-Attentionの違いは別のページで扱い、ここでは機械翻訳のモデル2つの切り分けに絞ります。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。

結論

Seq2Seq

多層LSTMで入力系列を固定次元のベクトルにし、別のLSTMで復号する。英仏翻訳の評価値（BLEU）は34.8。

Transformer

再帰も畳み込みも使わず注意機構だけで組む。並列化しやすく、英仏翻訳の評価値（BLEU）は41.8。

違いを表で確認

比較軸Seq2SeqTransformer
土台の技術Seq2Seq：多層のLSTM（符号化側と復号側に1つずつ）Transformer：注意機構だけ。再帰と畳み込みは完全に使わない
入力から出力への流れSeq2Seq：入力系列を固定次元のベクトルに写し、そこから目的の系列を復号するTransformer：エンコーダ・デコーダの構成を、注意機構を中心にして組み直した
論文が述べる学習面の特徴Seq2Seq：原文側の単語順だけを逆にすると、性能が大きく改善したTransformer：並列化しやすく、学習時間が大幅に短い
翻訳成績Seq2Seq：WMT'14の英仏翻訳でBLEU 34.8（フレーズベースSMTは33.3）Transformer：WMT 2014の英独翻訳でBLEU 28.4、英仏翻訳でBLEU 41.8
論文の発表Seq2Seq：2014年。題名は『Sequence to Sequence Learning with Neural Networks』Transformer：2017年。題名は『Attention Is All You Need』

G検定の学習に使う書籍（Amazon）

試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。

PR
深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版 の表紙深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版試験を実施する日本ディープラーニング協会が監修した公式テキストです。Amazonで見る

ほかの資格を含む参考書・問題集の一覧を見る

どこで迷っているかを切り分ける

01

どちらも「翻訳に使うモデル」としか覚えていない人

Seq2SeqはLSTMで系列を固定次元のベクトルにして復号するモデルです。Transformerは再帰も畳み込みも使わず、注意機構だけで組んだモデルです。

02

「注意機構だけ」の説明がどちらのモデルか迷う人

Transformerの論文は、再帰と畳み込みを完全に使わず、注意機構だけに基づく構造を提案すると述べます。LSTMが出てくる説明は、Seq2Seqです。

03

Seq2Seqの「系列から系列へ」が何を変えたのか言えない人

Seq2Seqの論文は、DNNでは系列から系列への対応づけができないという問題に対し、系列の構造への仮定が最小の汎用的な方法を示しました。

具体例で使い分ける

例 1

LSTMで入力を固定次元のベクトルにして復号するモデルを選ぶ場合

構造の作り方に着目した設問です。

  • Seq2Seqの論文は、多層のLSTMで入力系列を固定次元のベクトルに写し、別の深いLSTMでそのベクトルから目的の系列を復号すると述べます。
  • この符号化と復号の2段構成が、Encoder-Decoder型と呼ばれる形です。

結論: LSTMによる符号化と復号は、Seq2Seqです。

例 2

再帰と畳み込みを使わないモデルを選ぶ場合

土台の技術に着目した設問です。

  • Transformerの論文は、再帰と畳み込みを完全に使わず、注意機構だけに基づく構造を提案すると述べます。
  • この構造により、並列化しやすく学習時間が大幅に短いと述べられています。

結論: 注意機構だけで再帰も畳み込みも使わないのは、Transformerです。

例 3

原文の単語順を逆にすると性能が上がったモデルを選ぶ場合

学習の工夫に着目した設問です。

  • Seq2Seqの論文は、原文側の単語の順序だけを逆にすると性能が大きく改善したと述べます。
  • 目的側の文は逆にしません。

結論: 原文側の単語順を逆にした工夫は、Seq2Seqです。

問題文から答えを選ぶ手順

  1. 1

    土台の技術を確認する

    LSTMを2つ使うならSeq2Seq、注意機構だけで再帰も畳み込みも使わないならTransformerです。

  2. 2

    学習の特徴を確認する

    原文側の単語順の反転ならSeq2Seq、並列化しやすく学習時間が短いならTransformerです。

  3. 3

    題名を確認する

    『Attention Is All You Need』はTransformerの論文です。

  4. 4

    発表の年を確認する

    Seq2Seqは2014年、Transformerは2017年にarXivで公開されました。

試験での見分け方

  • 1LSTMで固定次元のベクトルにして復号するのは、Seq2Seq。
  • 2再帰と畳み込みを使わず注意機構だけで組むのは、Transformer。
  • 3原文側の単語順を逆にして性能を上げたのは、Seq2Seq。
  • 4並列化しやすく学習時間が大幅に短いと述べられたのは、Transformer。

誤答しやすい選択肢

Transformerを、LSTMを改良したモデルだと答える

修正: Transformerの論文は、再帰を完全に使わず注意機構だけに基づくと述べます。LSTMを使うのはSeq2Seqの論文です。

Seq2Seqには注意機構が使われていないと言い切る

修正: Transformerの論文は、従来の最良モデルが注意機構でエンコーダとデコーダを結んでいたと述べます。違いは、注意機構を補助に使うか、中心にするかです。

どちらも画像を扱うモデルだと考える

修正: 2つの論文が実験した中心の課題は機械翻訳です。画像のセグメンテーションを問う設問は、別のモデルの話です。

確認問題

Q1多層のLSTMで入力系列を固定次元のベクトルにし、別のLSTMで復号するモデルは何ですか？

答え: Seq2Seq

WMT'14の英仏翻訳でBLEU 34.8を得ました。

Q2再帰と畳み込みを完全に使わず、注意機構だけに基づくモデルは何ですか？

答え: Transformer

論文の題名は『Attention Is All You Need』で、並列化しやすく学習時間が大幅に短いと述べられています。

Q3Seq2Seqの論文で、性能を大きく改善した入力の工夫は何ですか？

答え: 原文側の単語の順序だけを逆にすること

目的側の文は逆にしません。

到達チェック

  • Seq2SeqがLSTMを使うことを言える
  • Transformerが再帰も畳み込みも使わないことを言える
  • Seq2Seqの原文側の単語順の工夫を言える
  • それぞれの翻訳成績を言える

関連ページで確認する

同じ資格で次に知りたいこと

よくある質問

QSeq2SeqとTransformerの最大の違いは何ですか？

A

Seq2SeqはLSTMで固定次元のベクトルを介して系列を変換する点、Transformerは再帰も畳み込みも使わず注意機構だけで組む点が特徴です。

QTransformerは何が優れていると論文で述べられていますか？

A

機械翻訳の実験で品質が高く、並列化しやすく、学習時間が大幅に短いと述べられています。

QSeq2Seqの翻訳成績はどのくらいでしたか？

A

WMT'14の英仏翻訳で、LSTMがBLEU 34.8を得ました。同じデータのフレーズベースSMTは33.3です。

QTransformerの論文の題名は何ですか？

A

『Attention Is All You Need』です。2017年にarXivで公開されました。

次に見る比較

シェア:XでシェアLINEでシェア

執筆: ミナト編集部（運営者情報を見る）