用語比較
事前学習とRLHFの違い（GPT-3とInstructGPTで比較）
事前学習とRLHFは、どちらもChatGPTのような生成AIが作られる過程に出てくる言葉で、生成AIパスポートの第2章「ChatGPT」に並ぶキーワードです。違いは、何を手がかりにモデルを学習させるかにあります。
事前学習は大量の文章から言葉の並びを学ぶ段階、RLHFは人間の評価を使って出力を人間の意図に近づける段階です。GPT-3は前者で作られたモデルで、InstructGPTはGPT-3にRLHFを加えて調整したモデル群です。
OpenAIの論文は、1.3BパラメータのInstructGPTの出力が、175BパラメータのGPT-3の出力より人間の評価者に好まれたと報告しています。モデルを大きくするだけでは、利用者の意図に沿うとは限りません。
このページは、RLHFを「知識を増やす学習」だと思っている人や、事前学習との順番が曖昧な人を対象にしています。RLHFは事前学習のあとに、振る舞いを調整する段階です。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。生成AIパスポートの一次情報確認日: 2026-08-31。
結論
事前学習
大量のテキストでモデルを先に学習させる段階。GPT-1の原論文は、各トークンをそれ以前の文脈だけから予測する言語モデルの目的関数で学習すると述べている。
RLHF
人間のフィードバックを使う強化学習（Reinforcement Learning from Human Feedback）。人間の評価を報酬として、モデルの出力を人間の意図や好みに近づける。InstructGPTやGPT-3.5の学習で使われた。
違いを表で確認
| 比較軸 | 事前学習 | RLHF |
|---|---|---|
| 目的 | 言葉の並びのパターンを学び、文章を続けられるようにする | 指示に従うなど、出力を人間の意図に近づける（アライメント） |
| 学習の手がかり | 大量のテキストそのもの | 人間による出力の評価（InstructGPTでは出力の順位づけ） |
| 順番 | 先に行う | 事前学習済みのモデルに対して、あとから行う |
| 代表例 | GPT-3（Few-Shotで多様なタスクをこなせることが示されたモデル） | InstructGPT、GPT-3.5（GPT-3をRLHFで調整したモデル群） |
| ねらう効果 | 幅広い言語の処理能力を持たせる | 事実に反する出力や有害な出力を減らし、指示に沿った応答を増やす |
| 試験での手掛かり | 「大量のテキスト」「次の語を予測」 | 「人間の評価を報酬」「人間の意図に近づける」 |
生成AIパスポートの学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
どこで迷っているかを切り分ける
RLHFを知識を増やす学習だと思っている人
RLHFは、事前学習で得た能力のうえで、出力を人間の評価に合わせる調整です。論文は、真実性の向上と有害な出力の減少を報告していますが、RLHFだけで新しい知識が増える手法とは説明していません。
GPT-3.5とGPT-3の関係が曖昧な人
GPT-3.5は、GPT-3を人間のフィードバックを用いた強化学習で対話向けに調整したモデル群です。2022年11月30日に公開されたChatGPTの初期バージョンに搭載されました。
ファインチューニングとの関係で迷う人
InstructGPTの論文では、GPT-3をまず教師あり学習で調整し、そのあと人間の評価をもとにした強化学習でさらに調整しています。論文は、この過程をGPT-3のファインチューニングとして説明しています。
具体例で使い分ける
例 1
大量の文章から次の語を予測して学習する
インターネット上の大量のテキストを使い、文脈から次に来る語を予測できるようにモデルを学習させる場面です。
- 学習の手がかりはテキストそのもので、人間の評価は使っていません。
- モデルに言語の基本的な能力を持たせる、最初の段階にあたります。
結論: 大量のテキストで先に学習させているので、事前学習です。
例 2
出力の良し悪しを人が順位づけして調整する
モデルの複数の出力を人間が順位づけし、その評価を報酬として強化学習を行う場面です。
- 学習の手がかりは、人間による出力の評価です。
- 目的は、出力を人間の意図に近づけることです。
結論: 人間の評価を報酬にしているので、RLHFです。
例 3
モデルを大きくすれば指示に従うようになると考える
パラメータ数の大きいモデルほど、利用者の指示に沿った答えを返すはずだと考える場面です。
- InstructGPTの論文は、1.3BパラメータのInstructGPTが175BパラメータのGPT-3より人間の評価者に好まれたと報告しています。
- モデルの大きさだけでは、利用者の意図への沿いやすさは決まりません。
結論: 指示への沿いやすさは、RLHFのような調整でも変わります。大きさだけで決まるとは言えません。
問題文から答えを選ぶ手順
- 1
学習の手がかりが何かを見る
大量のテキストなら事前学習、人間の評価ならRLHFです。設問文の「人間の評価」「報酬」を探します。
- 2
学習の順番を確認する
RLHFは事前学習済みのモデルに行います。「RLHFのあとに事前学習」という並びは誤りです。
- 3
目的が能力か、振る舞いの調整かを確認する
言語の基本的な能力を持たせる話は事前学習、人間の意図に近づける話はRLHFです。人間の意図に近づける調整は、試験では「アライメント」という語で問われることもあります。
- 4
モデル名を手がかりにする
GPT-3は事前学習で作られたモデル、InstructGPTとGPT-3.5はGPT-3をRLHFで調整したモデル群です。
試験での見分け方
- 1大量のテキストで先に学習させるのは事前学習。
- 2人間の評価を報酬にして出力を人間の意図に近づけるのはRLHF。
- 3RLHFは事前学習のあとに行う。
- 4InstructGPTとGPT-3.5は、GPT-3をRLHFで調整したモデル群。
- 5RLHFをしても、誤りがなくなるとは限らない。
誤答しやすい選択肢
RLHFを最初の学習段階だと考える
修正: RLHFは事前学習済みのモデルに対して、あとから行う調整です。InstructGPTは、GPT-3を調整して作られました。
RLHFで誤りがなくなると考える
修正: 論文は真実性の向上と有害な出力の減少を報告していますが、InstructGPTも単純な間違いをすると述べています。出力の確認は別に必要です。
GPT-3.5をGPT-3と無関係な新しい仕組みだと考える
修正: GPT-3.5は、GPT-3を人間のフィードバックを用いた強化学習で対話向けに調整したモデル群です。
パラメータ数が多いほど指示に従うと考える
修正: 論文では、パラメータ数が約100分の1のInstructGPTの出力が、GPT-3の出力より好まれました。
確認問題
Q1大量のテキストでモデルを先に学習させる段階は？
答え: 事前学習
言語の基本的な能力を持たせる最初の段階が事前学習です。
Q2人間の評価を報酬として、出力を人間の意図に近づける手法は？
答え: RLHF
Reinforcement Learning from Human Feedbackの略で、人間のフィードバックを使う強化学習です。
Q3InstructGPTは何をRLHFで調整したモデル群？
答え: GPT-3
OpenAIの論文は、GPT-3を教師あり学習とRLHFでファインチューニングしたものをInstructGPTと呼んでいます。
Q4RLHFと事前学習は、どちらを先に行う？
答え: 事前学習
RLHFは事前学習済みのモデルに対する調整です。
到達チェック
- 事前学習を大量のテキストで学ぶ段階として説明できる
- RLHFが人間の評価を報酬にする手法だと説明できる
- RLHFが事前学習のあとに行われると分かる
- GPT-3とInstructGPT・GPT-3.5の関係を説明できる
- RLHFをしても出力の確認が要ると分かる
関連ページで確認する
同じ資格で次に知りたいこと
- 肖像権とパブリシティ権の違い
肖像権とパブリシティ権の違いを、守る利益（人格と商業的価値）、侵害になる場面、最高裁判決の判断枠組み、生成AIパスポートでの判断手順と確認問題まで解説します。
- 生成AIパスポートとDS検定の違い（出題範囲・問題数・試験時間・受験料・受験日）
生成AIパスポート（60問・60分、一般11,000円税込）とDS検定（100問・100分、一般10,000円税抜）の違いを、出題範囲、問題数、受験日の決まり方、受験料、有効期限から整理します。生成AIの基礎とリスクを学びたい人と、データ活用の全体像を学びたい人のどちらに合うかを判断できます。
- プロンプトインジェクションとジェイルブレイクの違い
プロンプトインジェクションとジェイルブレイクの違いを、OWASPの整理（ジェイルブレイクはプロンプトインジェクションの一形態）から解説。生成AIパスポートの第4章リスクでの判断手順と確認問題つきです。
よくある質問
Q事前学習とRLHFは何が違う？
事前学習は大量のテキストから言葉の並びを学ぶ段階、RLHFは人間の評価を使って出力を人間の意図に近づける段階です。RLHFは事前学習のあとに行います。
QRLHFは何の略？
Reinforcement Learning from Human Feedbackの略で、人間のフィードバックを用いた強化学習を指します。
QInstructGPTとGPT-3は何が違う？
InstructGPTは、GPT-3を教師あり学習とRLHFでファインチューニングして、指示に従う能力を高めたモデル群です。OpenAIは2022年1月に発表し、論文のarXiv投稿は同年3月です。
QGPT-3.5もRLHFを使っている？
はい。GPT-3.5は、GPT-3を人間のフィードバックを用いた強化学習で対話向けに調整したモデル群で、ChatGPTの初期バージョンに搭載されました。
QRLHFをすれば回答は正確になる？
なりません。論文は真実性の向上を報告していますが、単純な間違いは残ると述べています。重要な内容は人が確認します。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: ミナト編集部（運営者情報を見る）