生成AIパスポート 用語解説
RLHFとは
人間の評価を報酬として強化学習を行い、モデルの出力を人間の意図・好みに近づける手法。
まず押さえる結論
RLHFは、生成AIパスポートの「第2章 生成AI（ジェネレーティブAI）」で確認しておきたい用語です。 定義だけでなく、どの場面で使う言葉か、何と混同しやすいか、問題文のどの表現で判断するかまで確認します。
試験での問われ方
定義の言い換え
用語そのものではなく、説明文の一部を言い換えて出されることがあります。
似た概念との比較
同じ章の用語と入れ替えた選択肢に注意します。対象、目的、使う場面を分けます。
具体例からの判断
問題文の事例が、定義のどの部分に対応しているかを先に確認します。
誤答しやすいポイント
- ハルシネーション・アライメント・ファインチューニングの取り違え。事実と異なるもっともらしい出力＝ハルシネーション、人間の意図に沿わせること＝アライメント、追加学習で調整＝ファインチューニング。
- GANとVAEの混同。GANは生成器と識別器を競わせる方式、VAEはエンコーダ・デコーダと潜在ベクトルを使う方式。
- Transformerの中核を畳み込みや位置エンコーディングと取り違える。中核は自己注意（Self-Attention）。
関連する確認問題
第2章 生成AI（ジェネレーティブAI） / ChatGPT
ChatGPTの開発で使われた、人間の評価を報酬として強化学習を行い、モデルの応答を人間の好みに近づける手法の略称はどれか。
RLHF（Reinforcement Learning from Human Feedback）は、人間の評価を報酬とする強化学習でモデルの出力を人間の意図・好みに合わせる手法。NLPは自然言語処理という技術分野、NSP（Next Sentence Prediction）とMLM（Masked Language Model）はBERTの事前学習で使われる手法で、人間のフィードバックによる強化学習ではない。
第2章 生成AI（ジェネレーティブAI） / ChatGPT
人間が日常的に使う言葉（自然言語）をコンピュータに処理・理解させる技術分野を何というか。
人間の言葉をコンピュータに処理させる技術分野を自然言語処理（NLP）という。RLHFは人間のフィードバックによる強化学習、マルチモーダルは複数種類のデータを扱えること、アライメントはAIの振る舞いを人間の意図に合わせることで、いずれも技術分野の名称ではない。
第2章 生成AI（ジェネレーティブAI） / ChatGPT
ChatGPT上で、利用者が用途に合わせて独自にカスタマイズした対話AIを作成・公開できる機能を何というか。
利用者が用途に合わせて独自にカスタマイズした対話AIを作成・公開できる機能がGPTs。Code Interpreterはコードの実行などを行う機能、InstructGPTは指示に沿うよう改良されたモデル、RLHFは人間のフィードバックによる強化学習の手法で、いずれも『独自の対話AIを作成・公開する機能』ではない。
同じ章で確認したい用語
到達チェック
- RLHFを一文で説明できる
- 同じ章の似た用語と違いを説明できる
- 問題文の具体例から、RLHFに関係する論点を拾える
- 関連問題を解き、誤答した選択肢の理由を確認できる