生成AIパスポート 用語解説
プレトレーニングとは
大量のデータを使って、モデルに汎用的な言語能力を身につけさせる学習の工程。特定の用途やタスク向けに追加学習するファインチューニングより前の段階にあたる。
まず押さえる結論
プレトレーニングは、生成AIパスポートの「第5章 テキスト生成AIのプロンプト制作と実例」で確認しておきたい用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-08-31。
公式シラバス（PDF）（公式）試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
×Zero-ShotとFew-Shotの取り違え。例を示さず指示だけ＝Zero-Shot、例をいくつか示してから指示＝Few-Shot。
×プロンプトエンジニアリングとファインチューニング／プレトレーニングの混同。前者は指示の与え方の工夫、後者2つはモデル側の学習段階。
×テキスト生成AIの不得意（正確な計算・最新の情報・芸術の批評）を、得意分野（要約・メール作成・箇条書き変換）と取り違える。
関連する確認問題
第5章 テキスト生成AIのプロンプト制作と実例 / プロンプティングの基礎
解答例を一切示さず、タスクの指示だけを与えて生成AIに実行させるプロンプト手法を何というか。
正解は「Zero-Shotプロンプティング」である。例を示さずに指示だけで実行させるのがZero-Shotプロンプティング、例をいくつか示してから指示するのがFew-Shotプロンプティング。ファインチューニングとプレトレーニングはプロンプトの書き方ではなくモデルの学習段階に関する用語である。 ショット数は入力文脈に含める例の数を指す。例を一つも置かないのがZero-Shot、少数の例を置くのがFew-Shotである。ファインチューニングとプレトレーニングは学習データでモデルの重みを調整する工程であり、例なしプロンプトの名称ではない。
第5章 テキスト生成AIのプロンプト制作と実例 / LMとLLM
大規模言語モデルを作る際に、大量のテキストデータを使ってあらかじめ汎用的な言語能力を学習させる工程を何というか。
正解は「プレトレーニング」である。大量データで汎用的な言語能力をあらかじめ学習させる工程がプレトレーニング（事前学習）。ファインチューニングはその後に特定用途へ追加学習して調整する工程、プロンプトエンジニアリングとFew-Shotプロンプティングは学習済みモデルへの指示の与え方で、いずれも事前学習の工程ではない。 モデル開発時の順序を区別する。プレトレーニングは大規模コーパスで一般的な言語パターンを学ぶ初期工程、ファインチューニングはその後の用途特化である。Few-Shotとプロンプトエンジニアリングは学習済みモデルへの推論時指示で重みの事前学習ではない。
第5章 テキスト生成AIのプロンプト制作と実例 / LMとLLM
大規模言語モデル（LLM）に関する次の説明のうち、誤っているものはどれか。
正解は「n-gramモデルとは、大量のテキストデータで学習し、人間が書いたような自然な文章を生成できる大規模な言語モデルである」（誤り）である。n-gramモデルは、ニューラルネットワークを使わず、直前に現れた数語の並びをもとに次に来る単語の出現確率を統計的に求める初期の言語モデルであり、設問の説明はLLM（大規模言語モデル）の定義をn-gramモデルに誤って当てはめている。LLM・プレトレーニング・ニューラル言語モデルの説明はいずれも正しい。
同じ章で確認したい用語
到達チェック
- プレトレーニングを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、プレトレーニングに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
執筆: ミナト編集部（運営者情報を見る）