生成AIの仕組み
アライメントとは（RLHF・ファインチューニングとの関係）
アライメントは、生成AIパスポートの現行の公式シラバスで、第2章のChatGPTの項に並ぶ用語です。アライメントは、AIの出力を人間の意図や価値観に沿わせることです。
このページは、InstructGPTの論文とAI事業者ガイドラインの記述の範囲で、意味、RLHFやファインチューニングとの関係、出る版を整理しています。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-08-31。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- アライメントは、AIの出力を人間の意図や価値観に沿わせること
- RLHFとファインチューニングは、アライメントのための手段として使われる
- AI事業者ガイドラインは、事後学習にアライメントが含まれると説明する
- 現行の2026年版シラバスの詳細キーワードにあり、2027年2月適用版の本文には載っていない
資料ごとの意味
二つの資料は、同じ意味を別の角度から述べています。
| 資料 | アライメントの記述 |
|---|---|
| InstructGPTの論文（2022年3月） | 言語モデルを大きくしても、利用者の意図に沿うとは限らない。真実でない、有害、単に役に立たない出力をしうる。要旨はこれを「利用者とアラインされていない」と表現し、人間のフィードバックによるファインチューニングで意図に沿わせる方法を示す |
| AI事業者ガイドライン第1.2版（総務省・経済産業省、令和8年3月31日） | 脚注17が、事後学習に含まれるものとして「人間の意図・価値観に沿った応答を制御するアライメント」を挙げる。AI開発者の役割にも、人間の意図や価値観に沿った行動を実現するための調整（アライメント）を目的とした事後学習が入る |
論文は「意図に沿わないモデルを沿わせる」という問題の側から、ガイドラインは「学習の工程」の側から述べています。どちらも、基準は人間の意図や価値観にあります。
一次資料: Ouyangら「Training language models to follow instructions with human feedback」（arXiv:2203.02155）、AI事業者ガイドライン第1.2版（総務省・経済産業省）
RLHF・ファインチューニングとの関係
四つの用語は、目的と手段に分けると取り違えません。
| 用語 | 位置づけ | 出どころ |
|---|---|---|
| アライメント | 目的。AIの出力を、人間の意図や価値観に沿わせること | InstructGPTの論文の要旨、AI事業者ガイドライン |
| RLHF（人間のフィードバックによる強化学習） | 手段の一つ。InstructGPTの論文は、出力の順位づけのデータを使ったRLHFでさらにファインチューニングした | InstructGPTの論文 |
| ファインチューニング | 手段の一つ。事前学習済みのモデルを追加で学習する。ガイドラインは事後学習の主な手法に挙げる | AI事業者ガイドライン 脚注17 |
| 事後学習（Post-training） | 事前学習のあとに行う追加の学習の総称。専門知識の補完と、アライメントの両方を含む | AI事業者ガイドライン 脚注17 |
「何のために」がアライメント、「どうやって」がRLHFやファインチューニングです。学習の順序と各段階の中身は事前学習・ファインチューニング・RLHFとはに整理しています。
InstructGPTで見る手順と結果
アライメントの代表例が、論文で公表されたInstructGPTです。論文の手順は次の順でした。
- 人が書いたプロンプトと、望ましい動作の例（人が書いた手本）を集める
- その手本を使い、GPT-3を教師あり学習でファインチューニングする
- モデルの出力を人が比べた順位づけのデータを集める
- その順位づけを使い、人間のフィードバックによる強化学習（RLHF）でさらにファインチューニングする
人間の評価では、13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3の出力より好まれました。論文の要旨は、真実性が改善し、有害な出力が減ったと述べます。一方で、InstructGPTもなお単純な誤りをすると認めています。
ここで押さえるのは、モデルの大きさを増やすことと、意図に沿わせることは別の課題だという点です。アライメントが済んだモデルでも誤りは残るため、出力の確認は欠かせません。誤りの出方はハルシネーションとはで扱っています。
シラバスのどこに出るか
公式シラバスでは、版によって載る項目が違います。
| 場所 | 内容 |
|---|---|
| 2026年版（現行） 第2章 生成AI 中項目「ChatGPT」 | 詳細キーワードに、RLHF、アライメント（Alignment）、ファインチューニング、ハルシネーションが並ぶ |
| 2027年版（2027年2月試験より適用） | 本文に「アライメント」の語は無い。RLHFとファインチューニングは、中項目「生成AIの学習プロセス」の学習項目に残る |
現行版を受ける人はアライメントの語そのものを、2027年版を受ける人はRLHFとファインチューニングの手順を押さえます。章立ての変更は2027年2月試験の新シラバスに整理しています。
よくある質問
アライメントとは何ですか？
AIの出力を、人間の意図や価値観に沿わせることです。AI事業者ガイドラインは、人間の意図・価値観に沿った応答を制御するもの、と説明しています。
RLHFとアライメントは同じ意味ですか？
同じではありません。アライメントは目的で、RLHFはその手段の一つです。InstructGPTの論文は、RLHFを使って、モデルを利用者の意図に沿わせました。
ファインチューニングをすれば、必ずアライメントになりますか？
なりません。AI事業者ガイドラインは、事後学習に、特定の専門知識の補完と、人間の意図・価値観に沿った応答を制御するアライメントの両方が含まれると説明します。専門知識を補うための追加学習は、アライメントとは目的が違います。
なぜアライメントが必要なのですか？
InstructGPTの論文は、言語モデルを大きくしても、利用者の意図に沿うとは限らず、真実でない出力や有害な出力が出うると述べます。大きさだけでは、意図への沿い方は決まらないためです。
2027年2月の試験でも、アライメントは範囲ですか？
2027年2月試験より適用のシラバスの本文に、アライメントの語は載っていません（2026-10-21時点）。現行の2026年版には詳細キーワードとして載っています。受験回の版のシラバスで確認してください。
