AI資格ドリル
資格を選ぶ

生成AIパスポート 用語解説

BERTモデルとは

文章中の一部の単語を隠して当てさせるMLMと、2文の連続性を判定するNSPによって事前学習を行う言語モデル。RoBERTaやALBERTなどの派生モデルがある。

この用語の分野から10問解く分野を選ぶ

BERTモデルの意味と見分け方

BERTモデルは、生成AIパスポートの「第2章 生成AI（ジェネレーティブAI）」に出てくる用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。

情報源と編集区分

公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。

公式シラバス（PDF）（公式）

比較記事でさらに確認する

BERTとGPTの違いBERTとGPTの違いを、事前学習の目的関数（MLM・NSPと自己回帰的な言語モデル）、参照する文脈の向き、生成AIパスポートでの設問の手掛かり語まで解説します。

試験での問われ方

01

定義の言い換え

用語そのものではなく、説明文の一部を言い換えて出されることがあります。

02

似た概念との比較

同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。

03

具体例からの判断

問題文の事例が、定義のどの部分に対応しているかを先に確認します。

誤答しやすいポイント

「第2章 生成AI（ジェネレーティブAI）」の問題で、取り違えやすい組み合わせです。

  • ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
  • GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
  • Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。

関連する確認問題

第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで

二つの文が連続する関係かを予測する課題を、BERTの事前学習で使った。この概念に関する次の説明のうち、誤っているものはどれか。

この事例では「文同士の連続関係を予測するNSPか」がポイントになる。正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。

第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで

文章の左側と右側の両方を参照して、隠された単語を当てる事前学習モデルを選ぶ。このモデルに関わる用語について、誤っている説明はどれか。

この事例では「双方向の文脈を学ぶBERTか」を確認すると、「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」という説明が誤りだと分かる。正解は「NSP（Next Sentence Prediction）とは、BERTモデルのパラメータ数を削減し、軽量化・効率化を図った派生モデルである」（誤り）である。NSPは、与えられた2つの文が文章内で連続しているかどうかを判定させる事前学習タスクであり、設問の説明はALBERTの定義をNSPに誤って当てはめている。MLM・RoBERTa・ALBERTの説明はいずれも正しい。BERTはTransformerの一部（エンコーダ）を用いた双方向の文脈理解に強みを持つモデルとして知られる。

第2章 生成AI（ジェネレーティブAI） / 生成AIの誕生まで

BERTモデルを改良して提案された派生モデルとして挙げられるものはどれか。

正解は「ALBERT（a Lite BERT）」である。ALBERT（a Lite BERT）は、RoBERTaと並んでBERTモデルを改良して提案された派生モデルである。InstructGPTはGPT系の派生モデル、ボルツマンマシンは初期の確率的な生成モデル、Soraは動画を生成するモデルであり、いずれもBERTモデルを改良した派生モデルではない。InstructGPT・ボルツマンマシン・Soraは、それぞれGPT系統の派生、初期の確率的モデル、動画生成モデルという異なる系譜に属する点で、BERTモデルの派生モデルとは区別できる。

この分野を演習する章別解説と類題を見る

同じ章で確認したい用語

VAE（変分自己符号化器）潜在ベクトルCNN（畳み込みニューラルネットワーク）RNN（回帰型ニューラルネットワーク）自然言語処理（NLP）GPTモデル

到達チェック

  • BERTモデルを一文で説明できる
  • 同じ章の似た用語と違いを説明できる
  • 問題文の具体例から、BERTモデルに関係する論点を拾える
  • 関連問題を解き、誤答した選択肢の理由を確認できる

用語を体系的に学べる書籍（Amazon）

PR
シェア:XでシェアLINEでシェア

執筆: AI資格ドリル編集部（運営者情報を見る）