NSP（Next Sentence Prediction）とは

NSP（Next Sentence Prediction）の意味と見分け方

NSP（Next Sentence Prediction）は、生成AIパスポートの「第2章 生成AI（ジェネレーティブAI）」に出てくる用語です。見分けの要点は、MLMは各系列のトークンの一部（原論文では15%）を隠して元の単語を当てさせる単語単位のタスク、NSPは2つの文が連続する関係にあるかを当てる文単位のタスクです。BERTはこの2つを組み合わせて事前学習します。

比較記事でさらに確認する

NSP（Next Sentence Prediction）の具体例と、問題文で見る箇所・隣接概念との境界

NSPを、単語を隠して当てるMLMではなく、2つの文が連続しているかを当てるBERTの事前学習タスクとして捉える

BERTの事前学習では、文Aと文Bを組にした入力を作ります。原論文では、学習例の50%は文Bが文Aの実際の次の文、残りの50%はコーパスからランダムに選んだ文とし、2つの文が連続しているかを二値で予測させます。質問応答や自然言語推論のように、文と文の関係の理解が必要な課題を意識したタスクです。

問題文で見る箇所

「2つの文が連続しているかを判定する」「BERTの事前学習に使う」「MLMと組み合わせる」という記述を確認します。単語を隠して当てるMLM、左から右へ次の単語を予測する従来の言語モデルの説明が混ざっていないかを見ます。

隣接概念との境界

MLMは各系列のトークンの一部（原論文では15%）を隠して元の単語を当てさせる単語単位のタスク、NSPは2つの文が連続する関係にあるかを当てる文単位のタスクです。BERTはこの2つを組み合わせて事前学習します。

誤答しやすい選択肢

• NSPを、文中の隠した単語を当てる手法として説明する。単語を隠して当てさせるのはMLMで、NSPは2つの文が連続する関係にあるかを判定するタスクである。
• NSPを、文章の続きを単語ごとに生成する手法として説明する。NSPが予測するのは次の単語ではなく、2つ目の文が実際に続く文かどうかという二値の判定である。
• NSPを、特定の課題に合わせて調整する段階の手法として説明する。NSPはMLMとともに、BERTの事前学習の段階で使うタスクである。

4段階の判断手順

1. 01設問が、単語単位の予測（MLM）を問うているか、文と文の関係の判定（NSP）を問うているかを先に分ける。
2. 02文の関係であれば、2つの文が連続するかどうかの二値判定という記述になっているかを確認する。
3. 03事前学習の段階の話か、特定の課題向けの調整の話かを見直し、NSPが事前学習で使うタスクとして書かれているかを確かめる。

到達条件: NSPを、BERTの事前学習でMLMと組み合わせて使う、2つの文が連続しているかを当てる文単位のタスクとして、単語を隠して当てるMLMと区別して説明できる。

試験での問われ方

誤答しやすいポイント

「第2章 生成AI（ジェネレーティブAI）」の問題で、取り違えやすい組み合わせです。

• ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
• GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
• Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。

関連する確認問題

同じ章で確認したい用語

• AXリテラシー教科書 生成AIパスポート 公式テキスト 2027年試験シラバス対応
• 最短攻略！生成AIパスポート 公認テキスト＆問題集