生成AIの技術の基礎
事前学習・ファインチューニング・RLHFとは（LLMの学習3段階）
事前学習・ファインチューニング・RLHF（人間のフィードバックによる強化学習）は、生成AIパスポートの公式シラバスが、大規模言語モデル（LLM）の学習の3段階として学習目標に並べる語です。事前学習で土台を作り、ファインチューニングで追加の学習を重ね、RLHFで人間の評価を使って出力を調整する、という順序です。
このページは、原論文と公式シラバスの範囲で、3段階の違い、指示チューニング、RLHFの手順、スケーリング則、出る章を整理しています。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-08-31。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- LLMの学習は、事前学習、ファインチューニング、RLHFの3段階で行われる
- ファインチューニングは、事前学習済みのモデルに追加のデータで学習を重ねる段階。指示チューニングはその一種
- RLHFは、人間のフィードバックを使う強化学習で、出力を人間の意図に近づける段階
- 設問では「大規模なテキスト」なら事前学習、「追加のデータ」ならファインチューニング、「人間のフィードバック」ならRLHFで見分ける
3段階の違い
GPT-3の論文は、大規模なテキストで事前学習したあと、特定のタスクでファインチューニングする方法が広く成果を上げてきたと述べています。ただしその方法では、タスクごとに数千から数万例のファインチューニング用データが必要です。この「事前学習のあとにファインチューニング」という二段構えに、人間の評価を使うRLHFが加わったものが、シラバスの3段階です。
| 段階 | 内容 | 設問の手掛かり語 |
|---|---|---|
| 事前学習 | 大規模なテキストで言語モデルを学習する最初の段階。シラバスでは、中項目の詳細キーワードに事前学習、次トークン予測、トークン、パラメータが載る | 「大規模なテキスト」「次トークン予測」 |
| ファインチューニング | 事前学習済みのモデルに、追加のデータで学習を重ねる段階。シラバスでは、中項目の詳細キーワードにファインチューニング、教師ありファインチューニング、指示チューニング、ドメイン適応が載る | 「事前学習済みのモデルに追加で学習」「指示と答えの組」 |
| RLHF | 人間のフィードバックによる強化学習。人が出力の良し悪しを評価した結果を使って、さらにモデルを調整する段階 | 「人間のフィードバック」「出力の順位づけ」 |
順序は「事前学習、ファインチューニング、RLHF」で。説明文がどの段階のものかは、手掛かり語で見分けます。手掛かり語の列は、シラバスの語ではなく解説上の整理です。同じ中項目の詳細キーワードにはハルシネーションも載るため、誤った内容をもっともらしく出力する問題はハルシネーションとはとつなげて読みます。
一次資料: Brown et al.「Language Models are Few-Shot Learners」（arXiv 2005.14165）
ファインチューニングと指示チューニング
シラバスは、中項目「生成AIの学習プロセス」の詳細キーワードに、ファインチューニング、教師ありファインチューニング、指示チューニング（Instruction Tuning）、ドメイン適応を並べています。 このうち指示チューニングについては、FLANの論文が、指示の文章で書き表したタスクの集まりで言語モデルをファインチューニングすることと説明しています。論文では、1370億パラメータの事前学習済みモデルを60を超えるNLPタスクで指示チューニングし、未知のタスクでのzero-shot性能が大きく上がると示しました。
ファインチューニングは大きな枠の名前で、指示チューニングは「指示の形で書いたタスク」を使うファインチューニングです。なお、第1章のニューラルネットワークの項にも、転移学習とファインチューニングが載ります。こちらは学習済みのモデルを別のタスクに使い回す一般的な考え方で、第2章のLLMの3段階の中の位置づけとあわせて読みます。
一次資料: Wei et al.「Finetuned Language Models Are Zero-Shot Learners」（arXiv 2109.01652）
RLHFの手順
InstructGPTの論文は、言語モデルを大きくしても利用者の意図に沿うとは限らず、真実でない・有害・役に立たない出力が出うると述べています。そこで次の2つの手順で調整しました。
- 人が書いた望ましい動作の例を集め、それでGPT-3を教師あり学習でファインチューニングする
- モデルの出力を人が順位づけしたデータを集め、人間のフィードバックによる強化学習（RLHF）でさらにファインチューニングする
人間による評価では、13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3の出力より好まれました。真実性は改善し、有害な出力は減りました。それでも単純な間違いは残るため、論文は「人間のフィードバックによるファインチューニングは有望な方向」という言い方にとどめています。RLHFは出力を人間の意図に近づける手法で、間違いをなくす手法ではありません。
シラバスの同じ中項目の詳細キーワードには、RLHFのほか報酬モデルやバイアスも載っています。人が評価に関わる以上、評価する人の偏りが入りうる点はAIのバイアスとはとあわせて確認します。
一次資料: Ouyang et al.「Training language models to follow instructions with human feedback」（arXiv 2203.02155）
スケーリング則と学習データ
スケーリング則の論文は、言語モデルの損失（クロスエントロピー）が、モデルの大きさ、データセットの大きさ、学習に使う計算量に対してべき乗則で下がると示しました。傾向は7桁以上にわたる場合もあるとされ、ネットワークの幅や深さといった構造の細部の影響は、広い範囲で小さいとされています。
スケーリング則は「大きさ・データ・計算量を増やすと損失が規則的に下がる」という経験則で、人間の評価の良さを保証するものではありません。InstructGPTでは、小さいモデルがRLHFで大きいモデルより好まれた例があります。シラバスは学習データの項に、データの品質と著作権も並べています。学習に使うデータの権利は生成AIと著作権のページで確認できます。
一次資料: Kaplan et al.「Scaling Laws for Neural Language Models」（arXiv 2001.08361）
学習データより新しい情報は苦手
シラバス第5章の「テキスト生成AIの不得意なこと」には、詳細キーワードとして計算、最新の情報、芸術の批評が載っています。このうち最新の情報は、学習の仕組みから説明できます。IPAのガイドラインは、LLMが作成された時点では公開されていない最新のデータに、正確に回答することは困難だと述べています。
学習が終わった後に出た情報は、モデルの中に入っていません。最新の情報が必要なときは、外部のデータを検索して渡す方法を使います。仕組みはRAG（検索拡張生成）のページで確認できます。
Microsoftの公式文書（Azure OpenAIの透明性ノート）も、このサービスは学習した日より後に起きた出来事の情報を持たないため、最新で事実として正確な情報が重要な場面には、人の確認者を置くか自社の文書を検索させる場合を除いて向かないと説明しています。
計算と芸術の批評については、IPAの同ガイドライン、総務省のAI事業者ガイドライン、Microsoftの同文書、OpenAIとGoogleのプロンプト関連の公式文書で、直接述べた記述を確認できませんでした。このページでは書いていません。
一次資料: IPA「テキスト生成AIの導入・運用ガイドライン」2.1.3、3.2.6、Microsoft Learn「Transparency Note for Azure OpenAI」（いずれも2026-10-23確認）
シラバスのどこに出るか
2027年2月試験から適用される公式シラバスでは、次の3か所に載っています。
| 場所 | 内容 |
|---|---|
| 第2章 中項目「生成AIの学習プロセス」 | 学習目標は、大規模言語モデルの学習が事前学習・ファインチューニング・RLHFの3段階で行われることと、学習データの課題を理解すること |
| 同じ中項目の詳細キーワード | 学習項目は事前学習・ファインチューニング・RLHF・学習データの規模と課題・スケーリング則の5つ。詳細キーワードは中項目全体で1つの欄にまとまり、報酬モデル、バイアス、スケーリング則、創発的能力、追加学習、人間の評価、学習データ、データの品質、著作権も載る |
| 第1章 ニューラルネットワークの項 | 詳細キーワードに転移学習、ファインチューニングが載る |
第2章は「3段階の順序と、それぞれの内容の区別」、第1章は「ファインチューニングという語」まで押さえる読み方になります。章立ての変更は2027年2月試験の新シラバスに整理しています。
よくある質問
事前学習・ファインチューニング・RLHFは、どの順で行いますか？
シラバスの学習目標が並べる順の、事前学習、ファインチューニング、RLHFです。InstructGPTの論文も、GPT-3を教師あり学習でファインチューニングし、そのあと人間のフィードバックによる強化学習でさらにファインチューニングする、という順で述べています。
ファインチューニングと指示チューニングは、同じものですか？
指示チューニングは、ファインチューニングの一種です。FLANの論文は、指示の文章で書き表したタスクの集まりでファインチューニングすることを指示チューニングと呼んでいます。
RLHFは何のために行いますか？
モデルの出力を人間の意図に近づけるためです。InstructGPTの論文は、言語モデルを大きくしても利用者の意図に沿うとは限らず、真実でない・有害・役に立たない出力が出うると述べ、人間のフィードバックでのファインチューニングをその対策として示しました。
モデルが大きいほど、必ず性能は上がりますか？
スケーリング則の論文が示したのは、言語モデルの損失がモデルの大きさ・データセットの大きさ・計算量に対してべき乗則で下がる、という傾向です。一方でInstructGPTの論文では、13億パラメータのモデルの出力が、1750億パラメータのGPT-3より人間の評価で好まれました。大きさだけで決まるわけではありません。
この3段階は、必ず試験に出ますか？
出題を予想するものではありません。公式シラバスの学習目標と詳細キーワードに載っている語として、3段階の順序と、それぞれを見分ける手掛かり語を押さえておく、という範囲の話です。
