用語比較
word2vecとGloVeの違い|局所の文脈窓で学習するか、大域の共起回数で学習するか(G検定)
word2vecとGloVeは、どちらも単語を実数のベクトルで表す手法で、ベクトルの足し引きで単語の関係を表せる点も共通しています。そのため、G検定の単語の分散表現の問いで取り違えやすい2つです。
word2vecは周辺の語を予測する形で局所的な文脈窓から学習し、GloVeは単語どうしの大域的な共起の回数から学習すると覚えると、選択肢を切り分けられます。
このページは、word2vecの論文(arXiv、2013年)とGloVeの論文(EMNLP、2014年)の抄録と本文の記述をもとに比べます。文脈つきの表現との違いは、word2vecとBERTの比較ページにあります。
この記事の目次
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。G検定の一次情報確認日: 2026-10-02。
結論
word2vec
周辺の語から現在の語を予測するCBOWと、現在の語から周辺の語を予測するSkip-gramの2つのモデル。大規模なデータから単語の連続ベクトルを効率よく計算する。
GloVe
Global Vectors。単語どうしの大域的な共起の回数で学習する重み付き最小二乗モデル。行列分解法と局所的な文脈窓の方法の利点を併せ持つ。
見分け方
選択肢に「CBOW」「Skip-gram」があればword2vec、「共起行列」「大域的な共起の回数」があればGloVe。
違いを表で確認
| 比較軸 | word2vec | GloVe |
|---|---|---|
| 学習に使う情報 | word2vec:個々の局所的な文脈窓の中で、周辺の語と現在の語の関係を使う | GloVe:コーパス全体の単語どうしの大域的な共起の回数を使う |
| モデルの形 | word2vec:周辺の語から現在の語を予測するCBOWと、現在の語から周辺の語を予測するSkip-gramの2つ | GloVe:大域的な共起の回数で学習する重み付き最小二乗モデル(大域的な対数双線形の回帰モデル) |
| 計算の対象 | word2vec:大規模なデータから単語の連続ベクトルを効率よく計算する。16億語のデータセットから、質の高い単語ベクトルを1日未満で学習できたと論文は述べる | GloVe:共起行列の非ゼロの要素だけで学習し、巨大な疎行列全体や個々の文脈窓は使わない |
| 論文が位置づけるモデル族 | word2vec:GloVeの論文は、skip-gramを局所的な文脈窓の方法の例に挙げる | GloVe:大域的な行列分解法と局所的な文脈窓の方法の、2つのモデル族の利点を併せ持つと述べる |
| 成績の例 | word2vec:vector(King)-vector(Man)+vector(Woman)がQueenのベクトルに最も近くなる例を論文が挙げる | GloVe:最近の単語類推タスクで75%の成績を示し、類似度のタスクと固有表現認識でも関連モデルを上回ると述べる |
G検定の学習に使う書籍(Amazon)
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
「CBOW」「Skip-gram」という語が出る人
word2vecです。周辺の語から現在の語を予測するのがCBOW、現在の語から周辺の語を予測するのがSkip-gramです。
「共起行列」「大域的な共起の回数」という語が出る人
GloVeです。単語どうしの共起の回数を、コーパス全体で数えた情報から学習します。
「どちらも固定のベクトルを出す」点を問われる人
word2vecとGloVeは、どちらも単語ごとに1つのベクトルを学習する手法です。文脈で表現が変わる手法(ELMoやBERT)と区別します。
具体例で使い分ける
例 1
選択肢に「共起行列の非ゼロの要素で学習する」が出る場合(架空の場面)
「単語どうしの共起の回数を使い、行列分解法と局所的な文脈窓の方法の利点を併せ持つとされる単語表現はどれか」という問いがあります。
- 単語どうしの大域的な共起の回数で学習するのはGloVeです。
- word2vecは、周辺の語を予測するCBOWとSkip-gramの2つのモデルを示した手法です。
結論: 共起の回数で学習するならGloVeです。
例 2
選択肢に「周辺の語から現在の語を予測する」が出る場合(架空の場面)
「周辺の語から現在の語を予測するモデルと、現在の語から周辺の語を予測するモデルを示した手法はどれか」という問いがあります。
- 前者がCBOW、後者がSkip-gramで、どちらもword2vecの論文のモデルです。
- GloVeは共起の回数を使う重み付き最小二乗モデルです。
結論: CBOWとSkip-gramならword2vecです。
例 3
「単語の足し引きで関係を表す」が正解の根拠になる場合
「King - Man + Womanを計算するとQueenに近いベクトルになる」という説明がどの手法の話かを選ぶ問いがあります。
- word2vecの論文が、この例を挙げています。
- GloVeの論文も、ベクトルの算術で意味の規則性を捉える最近の手法を前提に、その性質を分析しています。
結論: この例の出どころとして覚えるならword2vecです。GloVeも同じ類推の性質を扱います。
問題文から答えを選ぶ手順
- 1
学習に使う情報を見る
「周辺の語の予測」ならword2vec、「共起の回数」ならGloVeです。
- 2
モデルの名前を見る
CBOWとSkip-gramはword2vecです。重み付き最小二乗はGloVeです。
- 3
文脈の扱いを見る
どちらも単語ごとに1つのベクトルです。文脈で変わる表現ならELMoやBERTです。
- 4
年を見る
word2vecの論文は2013年、GloVeの論文は2014年です。
試験での見分け方
- 1word2vecは、周辺の語から現在の語を予測するCBOWと、現在の語から周辺の語を予測するSkip-gramの2つのモデルを示した。
- 2GloVeは、単語どうしの大域的な共起の回数で学習する重み付き最小二乗モデルで、共起行列の非ゼロの要素だけで学習する。
- 3GloVeの論文は、行列分解法は統計情報を効率よく使うが単語類推が比較的悪く、skip-gramは類推でよい成績を出せるが共起の回数を十分に使えていないと述べる。
誤答しやすい選択肢
GloVeもCBOWやSkip-gramを使うと考える
修正: CBOWとSkip-gramはword2vecのモデルです。GloVeは単語どうしの共起の回数で学習する重み付き最小二乗モデルです。
word2vecは共起の回数をまったく使わないと考える
修正: GloVeの論文が指摘するのは、skip-gramが別々の局所的な文脈窓で学習するため、大域的な共起の回数を十分に使えていないという点です。「一切使わない」とは述べていません。
GloVeの名前を単なる略称として覚える
修正: GloVeは「Global Vectors」の略で、大域的な共起の統計を使うという特徴が名前に出ています。
確認問題
Q1周辺の語から現在の語を予測するCBOWと、現在の語から周辺の語を予測するSkip-gramを示した手法は?
答え: word2vec
単語の連続ベクトルを、非常に大きなデータから効率よく計算するモデルとして論文が示しました。
Q2単語どうしの大域的な共起の回数で学習する重み付き最小二乗モデルは?
答え: GloVe
共起行列の非ゼロの要素だけで学習し、最近の単語類推タスクで75%の成績を示すと論文は述べます。
Q3GloVeの論文が、行列分解法と局所的な文脈窓の方法について指摘した弱点は?
答え: 行列分解法は単語類推が比較的悪く、局所的な文脈窓の方法は大域的な共起の統計を十分に使えていない
GloVeはその両方の利点を併せ持つモデルとして提案されました。
到達チェック
- word2vecの2つのモデル(CBOW・Skip-gram)を言える
- GloVeが使う情報(大域的な共起の回数)を言える
- どちらも単語ごとに1つのベクトルを学習する手法だと言える
関連ページで確認する
同じ資格で次に知りたいこと
- RMSpropとAdamの違い|勾配の2乗の移動平均か、1次のモーメントとバイアス補正も使うか(G検定)
RMSpropとAdamの違いを、使う統計量(2乗の移動平均・1次と2次のモーメント)、更新の作り方、バイアス補正の有無で整理。G検定の最適化手法の選択肢を切り分ける判断手順と確認問題つき。
- Fast R-CNNとFaster R-CNNの違い|候補領域を外部の手法で出すか、領域提案ネットワークで出すか(G検定)
Fast R-CNNとFaster R-CNNの違いを、領域提案の出し方(外部の手法とRPN)、畳み込み特徴の共有、論文の成績で整理。G検定の物体検出の選択肢を切り分ける判断手順と確認問題つき。
- DQNとDouble DQNの違い|学習目標で行動の選択と評価を同じ網で行うか、分けるか(G検定)
DQNとDouble DQNの違いを、学習目標で行動を選ぶ網と価値を評価する網の分け方、価値の過大評価、ターゲットネットワークの使い方で整理。G検定の強化学習の選択肢を切り分ける判断手順と確認問題つき。
よくある質問
Qword2vecとGloVeの違いは?
word2vecは周辺の語を予測するCBOWとSkip-gramで局所的な文脈窓から学習します。GloVeは単語どうしの大域的な共起の回数で学習する重み付き最小二乗モデルです。
QGloVeは何の略ですか?
Global Vectorsの略で、論文の題名は「GloVe: Global Vectors for Word Representation」です。
QGloVeの論文はいつ発表されましたか?
2014年のEMNLP(自然言語処理の経験的手法に関する会議)で発表されました。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い(統計検定2級の式と計算例)
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部(運営者情報を見る)
