ディープラーニングの応用例
G検定の単語埋め込み（word2vecの2モデル・足し引き・文脈つき表現）
G検定の大項目6「ディープラーニングの応用例」の自然言語処理には、word2vec、分散表現、ELMo、BERTがキーワードとして載っています。単語埋め込みは、単語を意味の近さが反映されたベクトルで表す方法で、word2vecはその代表例です。
このページは、word2vecとBERTの原論文の記述をもとに、単語を番号で扱う方法の限界、CBOWとSkip-gramの違い、足し引きの例、文脈つき表現との違いを整理しています。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-10-02。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- 単語を語彙の番号として扱うと、単語どうしの類似性を表せない
- word2vecは、単語の連続ベクトル表現を、低い計算コストで学習するモデルを示した
- CBOWは周辺の語から現在の語を、Skip-gramは現在の語から周辺の語を予測する
- 学習した単語ベクトルには、King−Man＋Womanのような足し引きで意味の関係が現れる例がある
- ELMoとBERTは、文脈に依存した表現を作る点でword2vecと区別される
単語を番号で扱う方法の限界
word2vecの原論文は、従来の多くの自然言語処理の手法が、単語を原子的な単位として扱っていると指摘します。 単語は語彙の中の番号（インデックス）で表されるため、単語どうしの類似性という考え方がありません。
番号では「近い意味の語は近い値になる」という性質を持たせられないので、意味の近さを表すベクトルが必要になります。単語を連続値のベクトルで表したものが分散表現で、単語埋め込みとも呼ばれます。
一次資料: Mikolov et al. (2013) Efficient Estimation of Word Representations in Vector Space, arXiv:1301.3781 の導入部
word2vecの2つのモデル
原論文は、大規模なデータから単語の連続ベクトル表現を計算するための、2つの新しいモデルを提案します。
| モデル | 予測の向き | 原論文の記述 |
|---|---|---|
| CBOW | 周辺の語（文脈）から、現在の語を予測する | 履歴の語の順序は射影に影響しないため、bag-of-wordsモデルと呼ばれる |
| Skip-gram | 現在の語から、周辺の語を予測する | 予測する範囲を広げると、単語ベクトルの質は上がるが、計算量も増える |
CBOWは「文脈から語」、Skip-gramは「語から文脈」と、予測の向きで覚えます。原論文は、16億語のデータセットから高品質な単語ベクトルを学習するのに1日かからないと述べ、従来のニューラルネットワークに基づく手法より、はるかに低い計算コストで精度が大きく向上したと報告しています。
一次資料: arXiv:1301.3781 の抄録とモデル構成の節
ベクトルの足し引き
原論文は、学習した単語ベクトルに単純な足し引きをすると、意味の関係が現れる例を示しています。 vector(King)−vector(Man)＋vector(Woman)を計算すると、結果はQueenのベクトルに最も近くなります。 FranceとParis、GermanyとBerlinのような、国と首都の関係も単語ベクトルで表せたと述べています。
「男性から女性への向き」や「国から首都への向き」が、ベクトルの差として取り出せる点が、分散表現の性質を説明する典型例です。試験対策では、この足し引きの一例を「単語の意味関係がベクトル演算で表せる」と言い換えて覚えます。
一次資料: arXiv:1301.3781
文脈つき表現との違い
word2vecの後に、文脈に依存した単語表現が提案されました。BERTの原論文は、ELMoを、文脈に依存した特徴を作る先行研究として紹介しています。
| 手法 | 表現の単位 | 原論文の記述 |
|---|---|---|
| word2vec | 単語ごとのベクトル | 大規模なデータから、単語の連続ベクトル表現を学習する |
| ELMo | 文脈に依存した表現 | 左から右と右から左の2つの言語モデルから、文脈に依存した特徴を取り出す。BERTの原論文は、特徴量ベースの手法と位置づける |
| BERT | 左右両方の文脈を全層で同時に使う表現 | 事前学習したモデルに出力層を1つ足し、ファインチューニングして使う |
word2vecは語ごとの表現、ELMoとBERTは文脈に依存する表現、という順に整理すると区別できます。BERTの原論文は、BERTが11の自然言語処理タスクで最先端の結果を得て、GLUEスコアを80.5%まで押し上げたと述べています。
一次資料: Devlin et al. (2018) BERT, arXiv:1810.04805
シラバスのどこに出るか
JDLA公式シラバス（G2024#6〜）では、関連語は次の大項目に載っています。
| 場所 | 内容 |
|---|---|
| 大項目6「ディープラーニングの応用例」の自然言語処理 | キーワード欄に、自然言語処理、形態素解析、word2vec、分散表現、ELMo、BERT、Seq2Seq、機械翻訳、大規模言語モデル（LLM）が並ぶ |
| 大項目5「ディープラーニングの要素技術」 | 再帰型ニューラルネットワーク（RNN、LSTM、GRU）と、Attention・Transformerが別の中項目として並ぶ |
2つの予測の向きだけを並べて確認したいときはCBOWとSkip-gramの違い、word2vecとBERTの比較はword2vecとBERTの違いのページで確認できます。10大項目全体の位置づけは出題範囲の整理にまとめています。
選択肢の読み方
原論文の記載から、選択肢を次のように読みます。
- 「周辺の語から現在の語を予測する」は、CBOWの説明
- 「現在の語から周辺の語を予測する」は、Skip-gramの説明
- 「単語を語彙の番号で表し、類似性は考えない」は、word2vec以前の多くの手法の説明で、分散表現の説明ではない
- 「King−Man＋Womanが、Queenのベクトルに最も近くなる」は、word2vecの単語ベクトルの性質を示す例
- 「左右両方の文脈を全層で同時に使って事前学習する」は、BERTの説明で、word2vecの説明ではない
ここで挙げた読み方は、一次資料の記載から導いたこのページの整理で、出題を予想するものではありません。
G検定の学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
よくある質問
単語埋め込みと分散表現は、同じ意味ですか？
G検定の学習では、ほぼ同じものを指す言葉として扱われます。シラバスのキーワード欄には「分散表現」があり、word2vecはその代表例として並びます。word2vecの原論文は、単語の連続ベクトル表現を計算するモデルを示しています。
CBOWとSkip-gramは、どちらが予測する向きですか？
CBOWは周辺の語から現在の語を予測し、Skip-gramは現在の語から周辺の語を予測します。原論文の記述では、この向きの違いが2つのモデルを分ける点です。
King − Man ＋ Woman ＝ Queen は、いつも成り立ちますか？
原論文は、vector(King)−vector(Man)＋vector(Woman)の結果が、Queenのベクトルに最も近くなる例として挙げています。すべての語の組で成り立つとは述べていないので、有名な一例として覚えるのが安全です。
word2vecとBERTでは、何が違いますか？
word2vecは語ごとのベクトルを学習します。BERTは、左右両方の文脈を全層で同時に使う深い双方向の表現を事前学習する点が特徴で、原論文は11の自然言語処理タスクで最先端の結果を得たと述べています。
word2vecはどれくらいの規模のデータで学習しましたか？
原論文は、16億語のデータセットから高品質な単語ベクトルを学習するのに1日かからないと述べています。従来の手法より、はるかに低い計算コストで精度が大きく向上したことが、論文の主張です。