AI資格ドリル
資格を選ぶ↓

用語比較

word2vecとBERTの違い｜語ごとのベクトルと文脈つきの表現（G検定）

word2vecは、語を意味を反映した連続のベクトルで表す手法です。BERTは、文の左右両方の文脈を使って、文脈に応じた表現を事前学習するモデルです。

G検定では、分散表現の例としてword2vecが、自然言語処理の発展の流れでBERTが問われます。名前は知っていても、何が違うかを聞かれると迷いやすい組です。

このページは、どちらも単語をベクトルにするものとして一まとめに覚えている人を対象にしています。同じ語が文脈で変わるかどうかに絞って、見分け方を確認します。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。

結論

word2vec

2013年のMikolovらの論文で提案。周辺の語から現在の語を予測するCBOWと、現在の語から周辺の語を予測するSkip-gramがある。語ごとの単語ベクトルを学習する。

BERT

2018年のDevlinらの論文で提案。左右両方の文脈を全層で同時に使い、ラベルなしテキストから深い双方向の表現を事前学習する。出力層を1つ足すだけで、質問応答などへファインチューニングできる。

違いを表で確認

比較軸word2vecBERT
発表2013年（Mikolovら）2018年（Devlinら）
学ぶもの語ごとの単語ベクトル文脈に依存した表現
学習の仕方CBOWとSkip-gram。周辺の語と現在の語を予測し合う左右両方の文脈を全層で同時に使う事前学習
代表的な見せ場King-Man+WomanがQueenに近くなる類推11の自然言語処理タスクで最先端の結果
使い方学習した単語ベクトルをほかのモデルの入力に使う事前学習したモデルに出力層を足し、課題ごとにファインチューニングする

G検定の学習に使う書籍（Amazon）

試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。

PR
深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版 の表紙深層学習教科書 ディープラーニング G検定（ジェネラリスト）公式テキスト 第3版試験を実施する日本ディープラーニング協会が監修した公式テキストです。Amazonで見る

ほかの資格を含む参考書・問題集の一覧を見る

どこで迷っているかを切り分ける

01

word2vecもBERTも単語のベクトル化だと覚えている人

どちらもベクトルを作りますが、word2vecは語ごとにベクトルを1つ学びます。BERTは、文の中の位置と周りの語を踏まえた表現を出します。

02

分散表現の例を問われて迷う人

単語を連続のベクトルで表す代表例はword2vecです。ベクトルの足し引きで関係を表せる例も、word2vecの特徴として出ます。

03

BERTとファインチューニングの関係を確認したい人

BERTはラベルなしテキストで事前学習し、課題ごとに出力層を足して調整します。事前学習済みの表現を使う点で、転移学習の一例です。

具体例で使い分ける

例 1

bankという同じ語が2つの文に出るとき

説明のための例文として、「We sat on the river bank（川の岸に座った）」と「She deposited money at the bank（銀行にお金を預けた）」を考えます。2つの文のbankを、それぞれベクトルで表す場面です。

  • word2vecの単語ベクトルは語ごとに1つなので、2つの文のbankは同じベクトルで表されます。
  • BERTは左右の文脈を使うので、川の岸の文と銀行の文では、bankの表現が変わります。

結論: 同じ語の意味の違いを、文脈で表し分けられるのがBERTです。語ごとのベクトルが決まっているのがword2vecです。

例 2

King-Man+Womanの類推はどちらの話か

単語ベクトルの足し引きで、King-Man+Womanを計算すると、何に近くなるかを問われています。

  • word2vecの論文は、vector(King)-vector(Man)+vector(Woman)が、Queenのベクトルに最も近くなる例を挙げています。
  • また、FranceとParis、GermanyとBerlinのような、国と首都の関係もベクトルで表せたと述べています。

結論: 語どうしの関係をベクトルの足し引きで表す例は、word2vecの代表例です。

問題文から答えを選ぶ手順

  1. 1

    問われているのが、語か文脈かを見る

    語ごとのベクトルの話ならword2vec、文脈に応じた表現の話ならBERTを疑います。

  2. 2

    学習の仕方の語を拾う

    CBOW、Skip-gramが出ればword2vecです。双方向、事前学習、ファインチューニングが出ればBERTです。

  3. 3

    時代の順で確かめる

    word2vecが2013年、BERTが2018年です。流れの問題では、語ごとのベクトルから文脈つきの表現へ進んだ順に並べます。

  4. 4

    選択肢の言い切りを確認する

    「どちらも文脈で表現が変わる」のように、二つを同じ性質で言い切る選択肢は誤りを疑います。

試験での見分け方

  • 1word2vecは、CBOWとSkip-gramで語ごとの単語ベクトルを学ぶ。
  • 2BERTは、左右両方の文脈を全層で使う双方向の事前学習で、ファインチューニングして使う。
  • 3ベクトルの足し引きで関係を表す例は、word2vecに結びつける。
  • 4同じ語の表現が文脈で変わるのは、BERTの側の特徴として覚える。

誤答しやすい選択肢

word2vecとBERTを、同じ種類の技術と書いてしまう

修正: どちらもベクトル表現ですが、語ごとのベクトルと、文脈に応じた表現という違いがあります。

BERTを文章を生成するモデルと取り違える

修正: BERTは、双方向の文脈を使った表現を学ぶモデルです。文章の生成を中心に据えたGPTとは、役割が違います。比べるときは、BERTとGPTの違いのページも読みます。

CBOWとSkip-gramの向きを逆に覚える

修正: CBOWは周辺の語から現在の語を予測し、Skip-gramは現在の語から周辺の語を予測します。

発表の順を逆にする

修正: word2vecが2013年、BERTが2018年です。語ごとのベクトルが先、文脈つきの表現が後です。

確認問題

Q1周辺の語から現在の語を予測するword2vecのモデルは？

答え: CBOW

Skip-gramは逆に、現在の語から周辺の語を予測します。

Q2King-Man+Womanが近くなる語として、論文が挙げた例は？

答え: Queen

word2vecの論文が、単語ベクトルの足し引きの例として示しています。

Q3同じ語でも、文脈によって表現が変わるのはどちら？

答え: BERT

BERTは左右の文脈を使うので、文ごとに表現が変わります。word2vecは語ごとに1つのベクトルです。

Q4BERTを個別の課題に使うとき、論文が述べる手順は？

答え: 出力層を1つ足してファインチューニングする

事前学習済みのBERTに出力層を1つ足すだけで、質問応答や言語推論などに調整できると述べています。

到達チェック

  • word2vecが提案した2つのモデル名を言える
  • CBOWとSkip-gramの予測の向きを説明できる
  • BERTが左右両方の文脈を使うことを説明できる
  • 同じ語の表現が文脈で変わるのがどちらかを言える
  • 2013年と2018年の順を書ける

関連ページで確認する

同じ資格で次に知りたいこと

よくある質問

Qword2vecとBERTは、何が違う？

A

word2vecは語ごとの単語ベクトルを学び、BERTは左右の文脈を使って、文脈に応じた表現を事前学習します。発表は2013年と2018年です。

QCBOWとSkip-gramは、どちらのモデル？

A

word2vecの2つのモデルです。CBOWは周辺の語から現在の語を、Skip-gramは現在の語から周辺の語を予測します。

QBERTはどう使う？

A

ラベルなしテキストで事前学習したあと、出力層を1つ足して、質問応答などの課題ごとにファインチューニングします。

次に見る比較

シェア:XでシェアLINEでシェア

執筆: ミナト編集部（運営者情報を見る）