AIエージェントのリスク・安全性・評価
AIエージェントの評価（Eval）
AIエージェントの評価（Eval）は、2027年2月試験から適用される生成AIパスポートの公式シラバスで、第3章の学習項目「AIエージェントの評価」に置かれています。Anthropic Engineeringの資料では、評価はAIシステムへの試験で、AIに入力を与え、出力を採点して成功を測るものです。
このページは、シラバスとこの資料に書かれている範囲で、評価に使う用語、採点の3種類、結果の見方を整理しています。
公式情報の確認
試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-08-31。
試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。
結論
- Evalは、AIに入力を与え、出力に採点の仕組みを適用して成功を測る、AIシステムへの試験
- エージェントは道具を使い環境を変えながら進むため、誤りが積み重なり、評価が複雑になる
- 採点は、コード、モデル、人の3種類を組み合わせる。それぞれに強みと弱みがある
- 返答の言葉でなく、環境の最終状態（outcome）を確かめる
Evalとは何か
Anthropic Engineeringの資料（2026年1月9日公開）は、評価（eval）を、AIに入力を与え、出力に採点の仕組みを適用して成功を測る、AIシステムへの試験と説明しています。 単純な評価は、入力と返答と採点だけで済みます。 エージェントは複数回のやり取りで道具を使い、環境の状態を変え、途中の結果に応じて進め方を変えます。そのため誤りが伝播して積み重なり、評価はより複雑になります。
エージェントそのものの仕組みはAIエージェントとはに整理しています。
一次資料: Anthropic Engineering「Demystifying evals for AI agents」
評価に使う用語
資料は、エージェントの評価を組み立てるときの用語を次のように定めています。
| 用語 | 意味 |
|---|---|
| task（タスク） | 入力と成功の基準が決まった、1つの試験 |
| trial（トライアル） | taskへの1回の試行。出力が実行ごとに変わるため、複数回行う |
| grader（採点の仕組み） | 出力や記録の一部を採点する仕組み |
| transcript（記録） | 出力、道具の呼び出し、推論、中間結果を含む、1回の試行の完全な記録。traceやtrajectoryとも呼ぶ |
| outcome（結果） | 試行の終わりの、環境の最終状態 |
| evaluation harness（評価の基盤） | 評価を端から端まで動かす仕組み。指示と道具を与え、並行して実行し、全手順を記録し、採点して集計する |
出力が実行ごとに変わるため、同じtaskを複数回試して、結果のばらつきを減らします。
一次資料: Anthropic Engineering「Demystifying evals for AI agents」
採点の3種類
資料は、エージェントの評価では、コード、モデル、人の3種類の採点を組み合わせるのが一般的だと説明しています。
| 種類 | 方法の例 | 強み | 弱み |
|---|---|---|---|
| コードによる採点 | 文字列の一致、テスト、静的解析、結果の検証、道具の呼び出しの検証 | 速い、安い、客観的、再現できる | 正当な違いに弱い。細かな判断や主観的なタスクには向かない |
| モデルによる採点 | ルーブリックによる採点、自然言語での確認、2つの比較 | 柔軟で拡張でき、自由記述の出力を扱える | 結果が揺れる。コードより高価。人による採点で較正が要る |
| 人による採点 | 専門家のレビュー、抜き取り検査、A/Bテスト | 最も質が高い。モデルによる採点の較正にも使える | 高価で遅い。大規模には専門家の確保が要る |
モデルによる採点は、人による採点と照らして較正する必要があります。タスクごとの採点は、合算した点が閾値に達する方式、全ての採点が通る二値の方式、その混合があります。 利用者が行うAI出力の確かめ方はAI出力の評価と検証にまとめています。
一次資料: Anthropic Engineering「Demystifying evals for AI agents」
返答でなく結果を見る
資料は、transcript（記録）とoutcome（結果）を区別しています。 例として、航空券を予約するエージェントが、記録の最後に「予約しました」と書いたとします。 しかしoutcomeは、予約が環境のデータベースに実際に存在するかどうかです。返答の言葉は成功の証拠にならず、環境の最終状態で確かめます。
AIが道具を使って環境を変えるからこそ、この区別が要ります。 権限を広く渡しすぎた場合の危険は過剰な権限（エクセシブ・エージェンシー）に、入力に紛れた指示で動かされる攻撃はプロンプトインジェクションにまとめています。
一次資料: Anthropic Engineering「Demystifying evals for AI agents」
なぜ評価が必要か
資料は、試作の段階では手動のテストでもかなり進められるが、本番で使われ規模が広がった後に評価がないと、変更後に悪くなったと利用者が報告するまで確かめる手段がなく、対応が後追いになると説明しています。 評価があれば、問題や挙動の変化を、利用者に影響が出る前に見つけやすくなります。
資料は、Claude Codeでは評価を、本番でのモニタリング、A/Bテスト、ユーザー調査などと組み合わせて改善に使っていると述べています。開発中の評価と、公開後の継続的なモニタリングは、役割の違う別々の確認です。なお、資料のcapability（品質）評価は「このエージェントは何をうまくできるか」を問うもので、エージェントが苦手なタスクを対象にして改善の余地を残すため、低い合格率から始めるべきとされています。
一次資料: Anthropic Engineering「Demystifying evals for AI agents」
シラバスのどこに出るか
| 場所 | 内容 |
|---|---|
| 第3章の中項目「AIエージェントのリスク・安全性・評価」の学習項目（2027年2月適用版） | 「AIエージェントの評価」が、「安全に使うための原則」の次に並ぶ |
| 同じ中項目の詳細キーワード | 最小権限の原則、サンドボックス、Human-in-the-Loop、プロンプトインジェクション、多層防御、Eval、継続的なモニタリングなどが並ぶ（中項目全体の欄で、この学習項目専用ではない）。解説文はなく、キーワードだけが示されている |
受験する回の適用版を確かめてから、この範囲の優先度を決めます。章立ての変更は2027年2月試験の新シラバスに整理しています。試験での出題を予想するものではありません。
よくある質問
Evalとは何ですか？
Anthropic Engineeringの資料は、評価（eval）をAIシステムへの試験と定義しています。AIに入力を与え、出力に採点の仕組みを適用して、成功したかを測ります。
AIエージェントの評価が、普通の生成AIの評価より難しいのはなぜですか？
エージェントは複数回のやり取りで道具を使い、環境の状態を変えながら進むためです。同じ資料は、誤りが伝播して積み重なるので、評価がより複雑になると説明しています。
AIの返答が「完了しました」なら成功ですか？
成功とは限りません。同じ資料の例では、航空券予約のエージェントが「予約しました」と答えても、結果は予約が環境のデータベースに存在するかで決まります。返答の言葉でなく、環境の最終状態を確かめます。
コードによる採点とモデルによる採点は、どちらを使えばよいですか？
資料は、コード、モデル、人の3種類を組み合わせて使うとしています。選び方の要点は、確かめたい内容に合う採点を選ぶことです。決まった条件の確認はコード、自由記述の出力はモデル、質の高い判断とモデルによる採点の較正は人、という強みの違いが資料の表から読み取れます。
評価をしていないと、何が困りますか？
資料は、本番で使われ規模が広がった後に評価がないと、変更後に悪くなったと利用者が報告するまで確かめる手段がなく、対応が後追いになると説明しています。
生成AIパスポートの学習に使う書籍（Amazon）
試験範囲を通して読むときの1冊です。読んだ章は、このサイトの章別問題で確かめられます。
