生成AIパスポート 用語解説
RLHFとは
人間の評価を報酬として強化学習を行い、モデルの出力を人間の意図・好みに近づける手法。
まず押さえる結論
RLHFは、生成AIパスポートの「第2章 生成AI（ジェネレーティブAI）」に出てくる用語です。定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
情報源と編集区分
公式範囲を確認し、具体例・誤答例・判断手順は当サイトが編集。 一次情報確認日: 2026-08-31。
公式シラバス（PDF）（公式）比較記事でさらに確認する
試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
「第2章 生成AI（ジェネレーティブAI）」の問題で、取り違えやすい組み合わせです。
- ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
- GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
- Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。
関連する確認問題
第2章 生成AI（ジェネレーティブAI） / ChatGPT
InstructGPTに関する説明として、最も適切なものはどれか。
正解は「GPT-3を人間のフィードバックを用いた強化学習（RLHF）でファインチューニングして指示に従う能力を高めたモデル群であり、1.3BパラメータのInstructGPTの出力の方が175BパラメータのGPT-3の出力より人間の評価者に好まれたと報告されている」である。InstructGPTは、GPT-3をRLHFでファインチューニングし、指示に従う能力を高めたモデル群で、2022年1月にOpenAIが発表した。決定条件は、パラメータ数の小さいInstructGPTの出力の方が、パラメータ数の大きいGPT-3の出力より人間の評価者に好まれたという報告である。パラメータ数を増やすことではなく、人間のフィードバックによる調整が指示への追従を高めた点が要点である。画像入力に対応した初のモデルはGPT-4、回答前に時間をかけて考える推論モデルシリーズの最初のモデルはGPT-o1の説明である。
第2章 生成AI（ジェネレーティブAI） / ChatGPT
2022年11月30日に公開されたChatGPTの初期バージョンに搭載されたモデルで、GPT-3を人間のフィードバックを用いた強化学習（RLHF）で対話向けに調整したモデル群を指すのはどれか。
正解は「GPT-3.5」である。GPT-3.5は2022年11月30日に公開されたChatGPTの初期バージョンに搭載されたモデルであり、GPT-3を人間のフィードバックを用いた強化学習（RLHF）で対話向けに調整したモデル群を指す。GPT-3はGPT-3.5の元になったモデル、GPT-4は2023年3月に公開されたマルチモーダル対応モデル、GPT-o1は2024年9月に公開された推論モデルであり、いずれもChatGPTの初期バージョンに搭載されたモデルではない。
第2章 生成AI（ジェネレーティブAI） / ChatGPT
ChatGPTの開発で使われた、人間の評価を報酬として強化学習を行い、モデルの応答を人間の好みに近づける手法の略称はどれか。
正解は「RLHF」である。RLHF（Reinforcement Learning from Human Feedback）は、人間による評価を報酬として強化学習を行い、モデルの応答を人間の意図や好みに近づける手法である。問題文の「人間の評価を報酬とする」「強化学習」という条件は、RLHFという手法名の由来そのものを指している。自然言語処理（NLP）は人間の言葉をコンピュータに処理させる技術分野の名称であり手法ではない。NSP（Next Sentence Prediction）とMLM（Masked Language Model）はBERTの事前学習で使われる手法で、文の並びや穴埋め語を予測する仕組みであり、人間の評価を報酬とする強化学習ではない。
同じ章で確認したい用語
他資格でも出題される用語
到達チェック
- RLHFを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、RLHFに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる
用語を体系的に学べる書籍（Amazon）
用語の意味を調べたあとに、試験範囲の流れの中で読み直したいときの公式テキストと公認テキストです。購入前に版と試験範囲への対応を確認してください。
執筆: ミナト編集部（運営者情報を見る）