AI資格ドリル
資格を選ぶ↓

AIエージェントとは

ブラウザ操作・PC操作エージェント

ブラウザ操作・PC操作エージェントは、2027年2月試験から適用される生成AIパスポートの公式シラバスで、第3章の学習項目「ブラウザ操作・PC操作エージェント」に置かれています。Anthropicの公式ドキュメントでは、AIがスクリーンショットで画面を見て、マウスとキーボードの操作を返し、アプリ側がそれを実行する繰り返しで動きます。

このページは、シラバスとAnthropic公式ドキュメント(Computer use tool)に書かれている範囲で、繰り返しの流れ、実行環境、公式ドキュメントが挙げる対策を整理しています。

公式情報の確認

試験日、料金、申込条件、試験方式など変動する情報は、公式情報を最終確認してください。 当サイトの一次情報確認日: 2026-08-31。

試験の出題範囲・実施要項は変動するため、受験前に公式情報を確認してください。

結論

  1. Anthropicの公式ドキュメントでは、画面のスクリーンショット、マウス、キーボードの操作をAIに与え、デスクトップ環境を操作させる仕組み
  2. AIが操作を返し、アプリ側が利用者の管理する環境で実行し、結果をAIへ返す繰り返しで進む
  3. Webページの中で完結する作業には、ページ自体を読んで操作するbrowser use toolの方が適しているとされる
  4. 公式ドキュメントが例に挙げる対策は、専用の仮想マシンやコンテナ、機密データの遮断、接続先ドメインの制限、重大な判断の人間による確認の4つ

どんなAIエージェントか

Anthropicの公式ドキュメントは、computer useを、デスクトップ環境のスクリーンショット、マウス、キーボードの操作をClaudeに与えるツールと説明しています。 画面の撮影、左クリック、文字入力、拡大表示など17の操作がひとまとまりで提供されます。人が画面を見てマウスとキーボードで行う操作を、AIが代わりに行う仕組みです。

対話だけで答えを返す生成AIとの違いや、AIエージェントの自律性の考え方はAIエージェントとはに整理しています。

一次資料: Anthropic公式ドキュメント「Computer use tool」

画面を見て操作する繰り返し

公式ドキュメントが説明する流れを、4つに分けて示します。2から4を、依頼が終わるまで繰り返します。

順番担当内容
1アプリ側ツールと利用者の依頼文(例:「デスクトップに猫の画像を保存して」)をAPIリクエストに入れて送る
2AIデスクトップの操作が役立つかを判断し、screenshot(画面の撮影)・left_click(左クリック)・type(文字入力)などの操作を、ツール呼び出しとして返す
3アプリ側返された操作を、利用者が管理する環境で順に実行し、結果をAIへ返す
4AI通常、操作のまとまりの最後にscreenshotを取り、画面の結果を観察してから次の行動を決める

AIが返すのは操作の指示で、実際に実行するのはアプリ側です。この分担があるため、実行の前にアプリ側で人間の確認を挟めます。公式ドキュメントも、重大な操作の確認は各操作を実行する前に行うよう求めています。 外部の道具を呼び出す仕組みの基本は、Function Callingにまとめています。

一次資料: Anthropic公式ドキュメント「Computer use tool」

実行環境とブラウザ内だけの場合

公式ドキュメントは、AIがアプリやWebと安全にやり取りできるサンドボックス化された実行環境が必要だと説明しています。 参考として示される構成は、画面を描画する仮想ディスプレイ、Linuxのデスクトップ環境、FirefoxやLibreOfficeなどのアプリです。 隔離された環境で動かすことが前提になっています。

一方、Webページの中で完結する作業には、browser use toolの方が適しているとされています。 こちらはページ自体を読んで操作し、デスクトップ環境全体を必要としません。ブラウザの中だけで済む作業か、デスクトップ全体を操作する作業かで、使う仕組みが分かれます。

一次資料: Anthropic公式ドキュメント「Computer use tool」

公式ドキュメントが挙げる対策

公式ドキュメントは、computer useには標準のAPI機能とは異なる固有のリスクがあり、インターネットとやり取りするときに高まると説明し、次の対策を挙げています。

対策資料に書かれている狙い
専用の仮想マシンまたはコンテナを使う最小限の権限にして、システムへの直接の攻撃や事故を防ぐ
機密データにアクセスさせないアカウントのログイン情報などを渡さず、情報の盗み取りを防ぐ
インターネット接続を許可するドメインのリストに限る悪意のあるコンテンツに触れる機会を減らす
重大な結果を招きうる判断は人間が確認するCookieの承認、金融取引、利用規約への同意など、明示的な同意が必要な作業が例に挙がっている

同じ資料は、Webページや画像に書かれた指示が、ユーザーの指示と食い違っていてもAIが従う場合があると説明しています。画面に映ったものを読んで動くため、画面上の文章が、AIへの命令として働くおそれがあります。この攻撃の仕組みはプロンプトインジェクションに、権限を絞る考え方は過剰な権限(エクセシブ・エージェンシー)にまとめています。

一次資料: Anthropic公式ドキュメント「Computer use tool」

シラバスのどこに出るか

場所内容
第3章の中項目「AIエージェントのツールと活用事例」の学習項目(2027年2月適用版)「ブラウザ操作・PC操作エージェント」が、コーディングエージェント・ハーネスエンジニアリングの次に並ぶ
同じ中項目の詳細キーワードコーディングエージェント、プルリクエスト、ディープリサーチ、役割分担などが並ぶ(中項目全体の欄で、この学習項目専用ではない)。解説文はなく、キーワードだけが示されている

受験する回の適用版を確かめてから、この範囲の優先度を決めます。章立ての変更は2027年2月試験の新シラバスに整理しています。試験での出題を予想するものではありません。

よくある質問

PC操作エージェントは、画面の何を手がかりに操作しますか?

Anthropicの公式ドキュメントでは、スクリーンショットを撮って画面の状態を見たうえで、マウスとキーボードの操作を返します。通常は操作のまとまりの最後にスクリーンショットを取り、結果を確かめてから次の行動を決めます。

AIが実際に画面を操作しているのですか?

AIが返すのは「どこをクリックするか」といった操作の指示で、実行するのはアプリ側です。公式ドキュメントは、アプリケーション側が利用者の管理する環境で全ての呼び出しを実行すると説明しています。

ブラウザ操作とPC操作は、同じ仕組みですか?

同じ資料では、Webページの中で完結する作業には、ページ自体を読んで操作するbrowser use toolの方が適しているとされています。こちらはデスクトップ環境全体を必要としません。ページの中だけならbrowser use tool、という使い分けが示されています。

Webページに書かれた指示にAIが従うことはありますか?

あります。公式ドキュメントは、Webページや画像内の指示がユーザーの指示と食い違っていても、Claudeが従う場合があると説明しています。モデルの訓練とスクリーンショットを走査する分類器による防御があっても、仮想マシンの利用や機密データの遮断などの対策は引き続き重要とされています。

この仕組みを自社の製品に入れるときの注意は?

公式ドキュメントは、自社製品でcomputer useを有効にする前に、利用者へ関係するリスクを知らせ、同意を得るように求めています。

次に読むと効率的なページ

執筆: ミナト編集部(運営者情報を見る)