AI資格ドリル
資格を選ぶ↓

用語比較

ELMoとBERTの違い｜単語表現を既存モデルに足すか、モデルごとファインチューニングするか（G検定）

ELMoとBERTは、どちらも大きなテキストで事前学習し、文脈に応じた言語の表現を得る手法で、2018年に相次いで発表されました。同じ文脈つきの表現でも、土台と使い方が違うため、取り違えやすくなります。

ELMoは双方向の言語モデルの内部状態から作る単語ベクトルを既存のモデルに足し、BERTはTransformerの双方向エンコーダを事前学習して、出力層を1つ足すだけでファインチューニングすると覚えると、選択肢を切り分けられます。

このページは、arXivに載った2本の論文（2018年）の抄録をもとに比べます。word2vecとBERTの比較は別のページにあります。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。

結論

ELMo

深い双方向の言語モデル（biLM）の内部状態の学習された関数として単語ベクトルを作る。多義性を扱い、既存のモデルに簡単に足せる。

BERT

Transformerによる双方向エンコーダ表現。すべての層で左右両方の文脈を同時に使って事前学習し、出力層を1つ足すだけでファインチューニングできる。

見分け方

選択肢に「biLM」「既存のモデルに加える単語表現」があればELMo、「Transformer」「出力層を1つ足してファインチューニング」があればBERT。

違いを表で確認

比較軸ELMoBERT
土台となるモデルELMo：大きなテキストで事前学習した深い双方向の言語モデル（biLM）BERT：Transformerによる双方向エンコーダ（Bidirectional Encoder Representations from Transformers）
表現の作り方ELMo：単語ベクトルは、biLMの内部状態の学習された関数BERT：ラベルなしテキストから、すべての層で左右両方の文脈を同時に使って深い双方向の表現を事前学習する
下流の課題への使い方ELMo：既存のモデルに簡単に加えられるBERT：出力層を1つ足すだけでファインチューニングし、課題ごとに構造を大きく変えずに済む
論文が重視する点ELMo：構文と意味、および文脈による使い方の変化（多義性）の両方をモデル化する。事前学習したネットワークの深い内部を使うことが重要BERT：左右両方の文脈を、すべての層で同時に使う
成績の例ELMo：質問応答・含意関係認識・感情分析を含む6つの課題で最高水準を大きく更新したBERT：質問応答や言語推論など、幅広い課題で最高水準のモデルを作れる

G検定の学習に使う書籍（Amazon）

試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。

PR
深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版 の表紙深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版試験を実施する日本ディープラーニング協会が監修した公式テキストです。Amazonで見る

ほかの資格を含む参考書・問題集の一覧を見る

どこで迷っているかを切り分ける

01

「biLM」「多義性」という語が出る人

ELMoです。双方向の言語モデルの内部状態から、文脈に応じた単語ベクトルを作ります。

02

「Transformer」「出力層を1つ足す」という語が出る人

BERTです。事前学習したモデルに出力層を1つ足し、ファインチューニングします。

03

「既存のモデルに簡単に加えられる」という語が出る人

ELMoです。単語表現として、既存の自然言語処理のモデルに足して使います。

具体例で使い分ける

例 1

選択肢に「双方向の言語モデルの内部状態から単語ベクトルを作る」が出る場合（架空の場面）

「同じ単語でも文脈によって異なるベクトルを、事前学習した双方向の言語モデルの内部状態から得る手法はどれか」という問いがあります。

  • 双方向の言語モデル（biLM）の内部状態から単語ベクトルを作るのはELMoです。
  • BERTはTransformerのエンコーダを土台にしています。

結論: biLMの内部状態ならELMoです。

例 2

選択肢に「出力層を1つ足すだけでファインチューニングできる」が出る場合（架空の場面）

「事前学習したモデルに出力層を1つ足すだけで、幅広い課題に使える言語表現モデルはどれか」という問いがあります。

  • 出力層を1つ足すファインチューニングを論文の特徴として挙げるのはBERTです。
  • ELMoは、単語表現を既存のモデルに加える使い方です。

結論: 出力層を1つ足すならBERTです。

例 3

多義性を問われる場合

同じ単語が文脈で違う意味を持つことを扱う、文脈つきの表現の手法を選ぶ問いがあります。

  • ELMoの論文は、文脈による使い方の変化（多義性）をモデル化すると述べます。
  • BERTも文脈つきの表現ですが、論文の抄録は左右両方の文脈を同時に使う点を強調します。

結論: 多義性を前面に出す説明はELMo、左右の文脈の同時利用を前面に出す説明はBERTです。

問題文から答えを選ぶ手順

  1. 1

    土台を見る

    「双方向の言語モデル（biLM）」ならELMo、「Transformer」ならBERTです。

  2. 2

    使い方を見る

    「既存のモデルに加える」ならELMo、「出力層を1つ足してファインチューニング」ならBERTです。

  3. 3

    文脈の使い方を見る

    「すべての層で左右両方の文脈を同時に使う」はBERTの論文の言い方です。

  4. 4

    年を見る

    どちらも2018年の論文です。ELMoは2月、BERTは10月に投稿されました。

試験での見分け方

  • 1ELMoは、事前学習した深い双方向の言語モデル（biLM）の内部状態の学習された関数として、文脈つきの単語ベクトルを作る。
  • 2ELMoの表現は、既存のモデルに簡単に加えられる。
  • 3BERTは、Transformerによる双方向エンコーダ表現で、すべての層で左右両方の文脈を同時に使って事前学習する。
  • 4BERTは、出力層を1つ足すだけでファインチューニングでき、課題ごとに構造を大きく変えずに済む。

誤答しやすい選択肢

ELMoもTransformerを使うと考える

修正: ELMoの論文が土台にするのは深い双方向の言語モデル（biLM）です。Transformerを土台にするのはBERTです。

BERTは文脈を考えない固定のベクトルを出すと考える

修正: BERTも、左右両方の文脈を使った深い双方向の表現を事前学習します。文脈を考えない静的な手法はword2vecなどです。

ELMoの文脈つきの表現は、BERTが初めて出したと考える

修正: 2018年2月のELMoの論文が、文脈つきの単語表現を先に示しています。BERTは同じ年の10月です。

確認問題

Q1事前学習した深い双方向の言語モデル（biLM）の内部状態から文脈つきの単語ベクトルを作る手法は？

答え: ELMo

既存のモデルに簡単に加えられ、6つの課題で最高水準を大きく改善すると論文は述べます。

Q2Transformerの双方向エンコーダを事前学習し、出力層を1つ足すだけでファインチューニングできる手法は？

答え: BERT

すべての層で左右両方の文脈を同時に使って事前学習します。

Q3ELMoの論文が「重要」だと述べた点は？

答え: 事前学習したネットワークの深い内部を使うこと

論文は、内部を公開することで、下流のモデルが異なる種類の半教師あり信号を混ぜて使えると述べます。

到達チェック

  • ELMoの土台（biLM）と使い方（既存のモデルに加える）を言える
  • BERTの土台（Transformer）と使い方（ファインチューニング）を言える
  • どちらも2018年の文脈つきの表現だと言える

関連ページで確認する

同じ資格で次に知りたいこと

よくある質問

QELMoとBERTの違いは？

A

ELMoは事前学習した深い双方向の言語モデル（biLM）の内部状態から単語ベクトルを作り、既存のモデルに加えます。BERTはTransformerの双方向エンコーダを事前学習し、出力層を1つ足してファインチューニングします。

QELMoは何を解決しようとしましたか？

A

論文によると、構文と意味という単語の使い方の複雑な特徴と、文脈による使い方の変化（多義性）の両方をモデル化することです。

QBERTの名前の意味は？

A

Bidirectional Encoder Representations from Transformersの略で、Transformerによる双方向エンコーダ表現という意味です。

次に見る比較

シェア:XでシェアLINEでシェア

執筆: ミナト編集部（運営者情報を見る）