AI資格ドリル
資格を選ぶ

用語比較

教師あり微調整（SFT）とRLHFの違い｜お手本を学ぶか、順位づけで調整するか（生成AIパスポート）

教師あり微調整（SFT）とRLHFの違いは、学習に使うデータです。SFTは、人が書いた「望ましい答えのお手本」をそのまま正解として学習します。RLHFは、モデルの出力を人が順位づけしたデータを使い、強化学習で出力を調整します。

お手本を真似るのがSFT、順位づけで好まれる方向へ寄せるのがRLHF。InstructGPTは、この2つを続けて行いました。

この記事の根拠と出典

各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。

SFT（教師あり微調整）とRLHFの要点

SFT（教師あり微調整）

ラベラーが書いた望ましい動作の例（実演データ）で、GPT-3を教師あり学習でファインチューニングする。InstructGPT論文の1段目。

RLHF

モデル出力の順位づけデータを集め、SFT後のモデルを人間のフィードバックによる強化学習でさらにファインチューニングする。InstructGPT論文の2段目。

違いを表で確認

比較軸SFT（教師あり微調整）RLHF
使うデータSFT：人が書いた望ましい動作の実演データRLHF：モデルの出力を人が順位づけしたデータ
学習の方式SFT：教師あり学習RLHF：人間のフィードバックによる強化学習
InstructGPTでの順番SFT：1段目。GPT-3をファインチューニングするRLHF：2段目。SFTしたモデルをさらにファインチューニングする
人の作業SFT：望ましい答えを書くRLHF：出力の良し悪しを順位づけする
ねらいSFT：望ましい動作の例を学ばせるRLHF：利用者の意図に沿う方向へ出力を寄せる（アライン）
試験での手掛かりSFT：「お手本」「実演」「教師あり」RLHF：「人間のフィードバック」「順位づけ」「強化学習」
生成AIパスポートの参考書3冊を、向く人と選ぶ理由で比べる

生成AIパスポートの学習に使う書籍（Amazon）

PR

ほかの資格を含む参考書・問題集の一覧を見る

どこで迷っているかを切り分ける

01

RLHFの名前は知っていても、その前の段階が分からない人

InstructGPTは、いきなりRLHFをしたのではありません。先に人が書いたお手本でGPT-3を教師あり学習で微調整し、そのあとでRLHFをかけています。

02

事前学習とRLHFの違いは分かるが、SFTがどこに入るか迷う人

事前学習のあと、RLHFの前に入るのがSFTです。事前学習とRLHFの違いは別の記事で整理しているので、この記事は間に入る段階に絞ります。

03

選択肢の「教師あり」「強化学習」で迷った人

お手本を正解として学ぶ記述は教師あり学習（SFT）、順位づけや人の評価を使って調整する記述はRLHFです。

具体例で使い分ける

例 1

同じ質問に使うデータの違い（架空の例）

「会議の案内メールを書いて」という指示に対する学習データを考えます。

  • SFTでは、人が書いた案内メールを1通、正解として用意します。モデルはその文章に近づくよう学習します。
  • RLHFでは、モデルが書いた4通のメールを人が良い順に並べます。モデルは、より上位に並ぶ書き方を出しやすくなるよう調整されます。
  • 4通を2通ずつ比べる組にすると、数え方の上では6通りです（4×3÷2）。

結論: 正解を1つ書くのがSFT、複数の出力を並べて良し悪しを示すのがRLHFのデータです。数字は説明のための架空の例で、論文の数字ではありません。

例 2

InstructGPTの2段階を順に追う

論文要旨の流れを、段階ごとに整理します。

  • まず、ラベラーが書いたプロンプトとOpenAIのAPIに投稿されたプロンプトから、望ましい動作の実演データを集めます。
  • その実演データで、GPT-3を教師あり学習でファインチューニングします（SFT）。
  • 次に、モデル出力の順位づけデータを集め、SFTしたモデルを人間のフィードバックによる強化学習でさらにファインチューニングします（RLHF）。できあがったモデルがInstructGPTです。

結論: 「実演データ、教師あり学習、順位づけデータ、RLHF」の順です。選択肢でこの順が入れ替わっていたら誤りです。

例 3

RLHFの効果を述べる選択肢の読み方

「RLHFを使うと、パラメータ数が少ないモデルでも好まれることがある」という選択肢が出たとします。

  • 論文要旨では、著者らのプロンプトでの人間による評価で、13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3の出力より好まれたと述べます。パラメータ数は約100分の1です。
  • あわせて、真実性の向上と有害な出力の減少が見られ、公開NLPデータセットでの性能低下は最小限だったと述べます。
  • 一方で、InstructGPTも単純な間違いをすると述べています。「間違いがなくなる」という選択肢は誤りです。

結論: 「好まれた」「真実性が向上した」は論文の範囲です。「必ず」「間違いをしなくなる」は範囲を超えています。

問題文から答えを選ぶ手順

  1. 1

    学習に使うデータを読む

    人が書いたお手本が出てくるならSFT、出力の順位づけや評価が出てくるならRLHFです。

  2. 2

    学習の方式を確認する

    教師あり学習と書いてあればSFT、強化学習と書いてあればRLHFです。

  3. 3

    順番を確認する

    InstructGPTでは、SFTが先、RLHFが後です。

  4. 4

    効果の書き方を見る

    「好まれた」「減少した」は論文の範囲です。「必ず」「なくなる」などの強い断定は疑います。

試験での見分け方

  • 1SFTは、人が書いた望ましい動作の例を使う教師あり学習である。
  • 2RLHFは、出力の順位づけを使った、人間のフィードバックによる強化学習である。
  • 3InstructGPTでは、SFTのあとにRLHFを行った。
  • 4RLHFで間違いがなくなるわけではない。論文もInstructGPTが単純な間違いをすると述べる。
  • 5事前学習は、SFTやRLHFより前の段階である。

誤答しやすい選択肢

RLHFだけでモデルが作られたと考える

修正: InstructGPTは、GPT-3を教師あり学習で微調整したあとにRLHFをかけています。RLHFだけではありません。

SFTを強化学習だと考える

修正: SFTは教師あり学習です。強化学習を使うのはRLHFの段階です。

RLHFをすれば誤りや有害な出力がなくなると考える

修正: 論文は、真実性の向上と有害な出力の減少を述べる一方で、InstructGPTも単純な間違いをすると述べます。

確認問題

Q1人が書いた望ましい動作の例を正解として、モデルを学習させる方式は？

答え: 教師あり学習（SFT）

InstructGPTの1段目です。ラベラーの実演データでGPT-3を微調整しました。

Q2モデルの出力の順位づけデータを使い、人間のフィードバックでモデルを調整する手法は？

答え: RLHF

人間のフィードバックによる強化学習です。SFTしたモデルをさらに微調整します。

Q3InstructGPTの学習で、教師あり学習とRLHFのどちらが先？

答え: 教師あり学習が先

実演データによる教師あり学習のあとに、順位づけデータを使ってRLHFを行います。

Q4論文要旨で、13億パラメータのInstructGPTの出力は、1750億パラメータのGPT-3の出力と比べてどう評価された？

答え: 人間の評価者に好まれた

パラメータ数は約100分の1ですが、出力が好まれました。

到達チェック

  • SFTを、お手本を正解とする教師あり学習として説明できる
  • RLHFを、出力の順位づけを使う強化学習として説明できる
  • InstructGPTの2段階の順番を言える
  • RLHFで間違いがなくなるわけではないと説明できる

関連ページで確認する

同じ資格で次に知りたいこと

よくある質問

QSFTとRLHFは何が違う？

A

SFTは人が書いたお手本を正解にする教師あり学習で、RLHFは出力の順位づけを使う人間のフィードバックによる強化学習です。

QInstructGPTではどちらを先に行った？

A

論文要旨によると、先にラベラーの実演データでGPT-3を教師あり学習で微調整し、そのあと出力の順位づけデータでRLHFをかけています。

Q生成AIパスポートにSFTは出る？

A

現行（2026年版）の第2章の詳細キーワードにはRLHFとファインチューニングが並びます。SFTは、そのファインチューニングの1つの形として、RLHFとの対比で読むと整理しやすくなります。

次に見る比較

シェア:XでシェアLINEでシェア

執筆: AI資格ドリル編集部（運営者情報を見る）