用語比較
DPOとRLHFの違い｜報酬モデルと強化学習を使うかで見分ける（G検定）
どちらも、人間が付けた応答の優劣のデータで言語モデルを人間の好みに合わせる方法です。違いは、報酬モデルと強化学習を使うかどうかです。
報酬モデルを作って強化学習で最適化するのがRLHF、その2つを使わず単純な分類損失で直接最適化するのがDPOと覚えると、手順の違いを整理できます。
この記事の根拠と出典
各セクションの見出しの下に、公式資料で確認した内容か編集部の整理かをラベルで示しています。 試験日・料金・申込条件・試験方式は変わることがあるため、申込前に公式サイトで確認してください。
RLHFとDPOの要点
RLHF
先に報酬モデルを当てはめ、次に強化学習で、推定した報酬を最大化する。元のモデルから離れすぎないようにする。
DPO
報酬モデルも強化学習も明示的には使わず、単純な分類損失で方策を直接最適化する。
共通する点
どちらも、人間の好みのデータを使い、元のモデルから離れすぎないよう制約をかけた報酬の最大化を目指す。
違いを表で確認
| 比較軸 | RLHF | DPO |
|---|---|---|
| 手順 | RLHF：報酬モデルを当てはめる、強化学習で方策を微調整する、の2段階（論文の整理では、教師あり微調整を加えた3段階） | DPO：好みのデータから、単純な分類損失で方策を直接最適化する |
| 報酬モデル | RLHF：明示的に学習する | DPO：明示的には作らない。方策が暗黙の報酬モデルになる |
| 強化学習 | RLHF：使う（論文ではPPOを使う例を比較に使用） | DPO：使わない |
| 学習中のサンプリング | RLHF：学習の最中に、方策から応答を生成して集める | DPO：微調整中に言語モデルからのサンプリングが要らない |
| 手順の複雑さ | RLHF：論文は、複雑でしばしば不安定な手順で、教師あり学習よりずっと複雑とする | DPO：論文は、安定で性能が高く計算が軽いとする |
| 目的 | RLHF：元のモデルから離れすぎない範囲での報酬の最大化 | DPO：同じ目的を暗黙に最適化する |
G検定の学習に使う書籍（Amazon）
PR
どこで迷っているかを切り分ける
RLHFの手順が、どこから複雑なのか分からない人
RLHFは、先に人間の好みを反映する報酬モデルを当てはめ、そのあとに強化学習で大規模言語モデルを微調整します。DPOの論文は、複数の言語モデルの学習と、学習中のサンプリングを伴うため、計算費用が大きいと述べます。
DPOは強化学習の代わりに何をするのか知りたい人
報酬モデルの新しい表し方により、最適な方策を閉じた形で取り出します。標準のRLHFの問題を、単純な分類損失だけで解きます。報酬を最大化する目的は、RLHFと同じです。
DPOはRLHFの完全な上位互換だと考える人
論文の実験では、DPOは人間の好みに合わせる能力で、既存の方法と同等かそれ以上でした。感情の制御ではPPOを使うRLHFを上回り、要約と単発の対話では応答の質が同等かそれ以上です。論文自体の実験の範囲で、あらゆる場面で上回るとまでは述べていません。
G検定でDPOが出るかを気にする人
G検定の出題範囲の生成AIの項目で、このサイトの事実リストに挙がっているキーワードはRLHFです。DPOは載っていません。RLHFの手順を理解する補足として読んでください。
具体例で使い分ける
例 1
手順を図にして比べる場合
応答のペアに、人間が「こちらが良い」と印を付けたデータがあります。
- RLHFでは、このデータで報酬モデルを当てはめます。
- そのあと、報酬モデルの点数を最大にするよう、強化学習で言語モデルを微調整します。
- DPOでは、同じデータで、分類損失を使って言語モデルを直接微調整します。
結論: 好みのデータが出発点なのは同じです。間に報酬モデルと強化学習の段が入るのがRLHFです。
例 2
選択肢で「報酬モデルを明示的に作らない」とある場合
設問に、「報酬モデルも強化学習も明示的には使わず、人間の好みのデータから直接方策を最適化する」とあります。
- 報酬モデルを明示的に作るのは、RLHFの特徴です。
- 強化学習を使わず、分類損失で最適化するのは、DPOの特徴です。
結論: この説明に当たるのはDPOです。
例 3
RLHFの前提を確認する場合
DPOを学ぶ前に、RLHFの登場する位置を確かめます。
- 論文の説明では、大規模な事前学習のあとに、人間の好みへ合わせる段が来ます。
- RLHFは、その段で最も成功した方法の一つとされます。
結論: DPOもRLHFも、事前学習のあとの調整の段階の方法です。
問題文から答えを選ぶ手順
- 1
出発点を確かめる
どちらも、人間の好みのデータ（応答のペアの優劣）から始まります。事前学習そのものとは別の段階です。
- 2
報酬モデルの有無を見る
報酬モデルを明示的に当てはめるならRLHF、作らずに直接最適化するならDPOです。
- 3
強化学習の有無を見る
強化学習で報酬を最大化するならRLHF、分類損失で最適化するならDPOです。
- 4
目的の共通点を確かめる
どちらも、元のモデルから離れすぎない範囲での報酬の最大化を目指します。違いは手順です。
試験での見分け方
- 1RLHFは、報酬モデルを当てはめ、強化学習で推定した報酬を最大化する方法である。
- 2DPOは、報酬モデルも強化学習も明示的には使わず、単純な分類損失で方策を直接最適化する方法である。
- 3DPOは、RLHFと同じ目的を暗黙に最適化する。
- 4DPOは、微調整中に言語モデルからのサンプリングが要らない。
- 5G検定のキーワードとして確認できるのはRLHFで、DPOはその補足として読む。
誤答しやすい選択肢
DPOは報酬を使わない方法だと考える
修正: DPOは報酬モデルを明示的には作りませんが、暗黙の報酬モデルに当たる方策を最適化します。目的は、RLHFと同じ報酬の最大化です。
RLHFとDPOは目的が違うと考える
修正: 論文は、DPOが既存のRLHFと同じ目的（元のモデルから離れすぎない範囲での報酬の最大化）を暗黙に最適化するとします。違うのは手順です。
DPOは好みのデータが要らないと考える
修正: DPOも、人間の好みのデータ（応答の組への選好）から方策を最適化します。要らなくなるのは、報酬モデルの学習と強化学習の段です。
RLHFは事前学習の代わりに行うと考える
修正: 論文の説明では、大規模な事前学習のあとに、人間の好みへ合わせる段が来ます。RLHFもDPOも、その段の方法です。
確認問題
Q1報酬モデルを当てはめ、強化学習で推定した報酬を最大化する方法は？
答え: RLHF
元のモデルから離れすぎないようにしながら、報酬を最大化します。
Q2報酬モデルも強化学習も明示的には使わず、単純な分類損失で方策を直接最適化する方法は？
答え: DPO（Direct Preference Optimization）
最適な方策を閉じた形で取り出すことで、標準のRLHFの問題を分類損失だけで解きます。
Q3DPOとRLHFが共通して使うデータは？
答え: 人間の好みのデータ（応答の組への優劣）
どちらも、人間が付けた相対的な品質のラベルから出発します。
Q4DPOが微調整中に要らないとされるものを一つ挙げてください。
答え: 言語モデルからのサンプリング（または大きなハイパーパラメータ調整）
論文は、DPOがこの2つを不要にすると述べます。
到達チェック
- RLHFの2段階の手順を言える
- DPOが使わないものを2つ挙げられる
- 両者が共通して目指す目的を説明できる
- DPOがG検定のキーワードではなく補足である点を説明できる
関連ページで確認する
同じ資格で次に知りたいこと
- 訓練誤差と汎化誤差の違い｜テスト誤差との関係とi.i.d.の仮定（G検定）
訓練誤差は訓練データでの誤差、汎化誤差は新しいデータでの誤差の期待値で、テストデータで推定します。次数の異なる3つのモデルの誤差を並べ、差の大きさから未学習と過学習を見分ける手順を、Deep Learning（Goodfellowら）の説明で確認。
- Permutation ImportanceとSHAPの違い｜特徴量の重要度を測る2つの方法（G検定）
Permutation ImportanceとSHAPの違いを、重要度の測り方、見る範囲（モデル全体か1つの予測か）、使うデータ、相関する特徴量の注意点で比較。G検定の説明可能AI（XAI）で問われる見分け方と確認問題まで、scikit-learn公式文書とSHAP論文で照合して整理します。
- 分類木と回帰木の違い｜葉の出力と分割の基準を手計算で比較（G検定の決定木）
分類木は葉のクラスの割合から答えを出し、回帰木は葉のデータの平均で数値を予測します。分割の基準はジニ不純度やエントロピーと、平均二乗誤差の違い。4件のデータで回帰木の分割を手計算し、外挿が苦手な理由もscikit-learn公式ガイドで確認。
よくある質問
QDPOとRLHFの違いは？
RLHFは報酬モデルを当てはめて強化学習で最適化し、DPOは報酬モデルも強化学習も明示的には使わず、単純な分類損失で方策を直接最適化します。
QDPOはRLHFと同じ目的を目指していますか？
はい。論文は、DPOが既存のRLHFと同じ目的（元のモデルから離れすぎない範囲での報酬の最大化）を暗黙に最適化すると述べます。
QDPOのDPOは何の略ですか？
Direct Preference Optimizationの略です。人間の好みのデータから、方策を直接最適化する方法を指します。
QDPOはG検定で問われますか？
G検定の出題範囲の生成AIの項目で、このサイトの事実リストに挙がっているキーワードはRLHFです。DPOは載っていないので、RLHFの手順を理解する補足として読んでください。
次に見る比較
- G検定・DS検定・統計検定2級で重なる用語10語の比較
同じ名前の用語の定義と収録章を、資格ごとに並べます。
- ベイズの定理と条件付き確率の違い（統計検定2級の式と計算例）
求める確率の向きの違いと、陽性になる確率の計算例を確かめます。
- 紛らわしい用語ペア早見表
混同しやすい用語の違いと判定の手掛かりを、資格別の一覧で確かめます。
執筆: AI資格ドリル編集部（運営者情報を見る）