AI資格ドリル
資格を選ぶ↓

用語比較

word2vecとGloVeの違い|局所の文脈窓で学習するか、大域の共起回数で学習するか(G検定)

word2vecとGloVeは、どちらも単語を実数のベクトルで表す手法で、ベクトルの足し引きで単語の関係を表せる点も共通しています。そのため、G検定の単語の分散表現の問いで取り違えやすい2つです。

word2vecは周辺の語を予測する形で局所的な文脈窓から学習し、GloVeは単語どうしの大域的な共起の回数から学習すると覚えると、選択肢を切り分けられます。

このページは、word2vecの論文(arXiv、2013年)とGloVeの論文(EMNLP、2014年)の抄録と本文の記述をもとに比べます。文脈つきの表現との違いは、word2vecとBERTの比較ページにあります。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。

結論

word2vec

周辺の語から現在の語を予測するCBOWと、現在の語から周辺の語を予測するSkip-gramの2つのモデル。大規模なデータから単語の連続ベクトルを効率よく計算する。

GloVe

Global Vectors。単語どうしの大域的な共起の回数で学習する重み付き最小二乗モデル。行列分解法と局所的な文脈窓の方法の利点を併せ持つ。

見分け方

選択肢に「CBOW」「Skip-gram」があればword2vec、「共起行列」「大域的な共起の回数」があればGloVe。

違いを表で確認

比較軸word2vecGloVe
学習に使う情報word2vec:個々の局所的な文脈窓の中で、周辺の語と現在の語の関係を使うGloVe:コーパス全体の単語どうしの大域的な共起の回数を使う
モデルの形word2vec:周辺の語から現在の語を予測するCBOWと、現在の語から周辺の語を予測するSkip-gramの2つGloVe:大域的な共起の回数で学習する重み付き最小二乗モデル(大域的な対数双線形の回帰モデル)
計算の対象word2vec:大規模なデータから単語の連続ベクトルを効率よく計算する。16億語のデータセットから、質の高い単語ベクトルを1日未満で学習できたと論文は述べるGloVe:共起行列の非ゼロの要素だけで学習し、巨大な疎行列全体や個々の文脈窓は使わない
論文が位置づけるモデル族word2vec:GloVeの論文は、skip-gramを局所的な文脈窓の方法の例に挙げるGloVe:大域的な行列分解法と局所的な文脈窓の方法の、2つのモデル族の利点を併せ持つと述べる
成績の例word2vec:vector(King)-vector(Man)+vector(Woman)がQueenのベクトルに最も近くなる例を論文が挙げるGloVe:最近の単語類推タスクで75%の成績を示し、類似度のタスクと固有表現認識でも関連モデルを上回ると述べる

どこで迷っているかを切り分ける

01

「CBOW」「Skip-gram」という語が出る人

word2vecです。周辺の語から現在の語を予測するのがCBOW、現在の語から周辺の語を予測するのがSkip-gramです。

02

「共起行列」「大域的な共起の回数」という語が出る人

GloVeです。単語どうしの共起の回数を、コーパス全体で数えた情報から学習します。

03

「どちらも固定のベクトルを出す」点を問われる人

word2vecとGloVeは、どちらも単語ごとに1つのベクトルを学習する手法です。文脈で表現が変わる手法(ELMoやBERT)と区別します。

具体例で使い分ける

例 1

選択肢に「共起行列の非ゼロの要素で学習する」が出る場合(架空の場面)

「単語どうしの共起の回数を使い、行列分解法と局所的な文脈窓の方法の利点を併せ持つとされる単語表現はどれか」という問いがあります。

  • 単語どうしの大域的な共起の回数で学習するのはGloVeです。
  • word2vecは、周辺の語を予測するCBOWとSkip-gramの2つのモデルを示した手法です。

結論: 共起の回数で学習するならGloVeです。

例 2

選択肢に「周辺の語から現在の語を予測する」が出る場合(架空の場面)

「周辺の語から現在の語を予測するモデルと、現在の語から周辺の語を予測するモデルを示した手法はどれか」という問いがあります。

  • 前者がCBOW、後者がSkip-gramで、どちらもword2vecの論文のモデルです。
  • GloVeは共起の回数を使う重み付き最小二乗モデルです。

結論: CBOWとSkip-gramならword2vecです。

例 3

「単語の足し引きで関係を表す」が正解の根拠になる場合

「King - Man + Womanを計算するとQueenに近いベクトルになる」という説明がどの手法の話かを選ぶ問いがあります。

  • word2vecの論文が、この例を挙げています。
  • GloVeの論文も、ベクトルの算術で意味の規則性を捉える最近の手法を前提に、その性質を分析しています。

結論: この例の出どころとして覚えるならword2vecです。GloVeも同じ類推の性質を扱います。

問題文から答えを選ぶ手順

  1. 1

    学習に使う情報を見る

    「周辺の語の予測」ならword2vec、「共起の回数」ならGloVeです。

  2. 2

    モデルの名前を見る

    CBOWとSkip-gramはword2vecです。重み付き最小二乗はGloVeです。

  3. 3

    文脈の扱いを見る

    どちらも単語ごとに1つのベクトルです。文脈で変わる表現ならELMoやBERTです。

  4. 4

    年を見る

    word2vecの論文は2013年、GloVeの論文は2014年です。

試験での見分け方

  • 1word2vecは、周辺の語から現在の語を予測するCBOWと、現在の語から周辺の語を予測するSkip-gramの2つのモデルを示した。
  • 2GloVeは、単語どうしの大域的な共起の回数で学習する重み付き最小二乗モデルで、共起行列の非ゼロの要素だけで学習する。
  • 3GloVeの論文は、行列分解法は統計情報を効率よく使うが単語類推が比較的悪く、skip-gramは類推でよい成績を出せるが共起の回数を十分に使えていないと述べる。

誤答しやすい選択肢

GloVeもCBOWやSkip-gramを使うと考える

修正: CBOWとSkip-gramはword2vecのモデルです。GloVeは単語どうしの共起の回数で学習する重み付き最小二乗モデルです。

word2vecは共起の回数をまったく使わないと考える

修正: GloVeの論文が指摘するのは、skip-gramが別々の局所的な文脈窓で学習するため、大域的な共起の回数を十分に使えていないという点です。「一切使わない」とは述べていません。

GloVeの名前を単なる略称として覚える

修正: GloVeは「Global Vectors」の略で、大域的な共起の統計を使うという特徴が名前に出ています。

確認問題

Q1周辺の語から現在の語を予測するCBOWと、現在の語から周辺の語を予測するSkip-gramを示した手法は?

答え: word2vec

単語の連続ベクトルを、非常に大きなデータから効率よく計算するモデルとして論文が示しました。

Q2単語どうしの大域的な共起の回数で学習する重み付き最小二乗モデルは?

答え: GloVe

共起行列の非ゼロの要素だけで学習し、最近の単語類推タスクで75%の成績を示すと論文は述べます。

Q3GloVeの論文が、行列分解法と局所的な文脈窓の方法について指摘した弱点は?

答え: 行列分解法は単語類推が比較的悪く、局所的な文脈窓の方法は大域的な共起の統計を十分に使えていない

GloVeはその両方の利点を併せ持つモデルとして提案されました。

到達チェック

  • word2vecの2つのモデル(CBOW・Skip-gram)を言える
  • GloVeが使う情報(大域的な共起の回数)を言える
  • どちらも単語ごとに1つのベクトルを学習する手法だと言える

同じ資格で次に知りたいこと

よくある質問

Qword2vecとGloVeの違いは?

A

word2vecは周辺の語を予測するCBOWとSkip-gramで局所的な文脈窓から学習します。GloVeは単語どうしの大域的な共起の回数で学習する重み付き最小二乗モデルです。

QGloVeは何の略ですか?

A

Global Vectorsの略で、論文の題名は「GloVe: Global Vectors for Word Representation」です。

QGloVeの論文はいつ発表されましたか?

A

2014年のEMNLP(自然言語処理の経験的手法に関する会議)で発表されました。

次に見る比較

執筆: ミナト編集部(運営者情報を見る)