AIエージェントはWebをどう操作するのか

Contents

API、専用UI、内蔵ブラウザ、クラウドブラウザ、拡張機能、Computer Useの違い

AIエージェントを使っていると、同じ「Webサイトを操作する」という作業でも、動き方が大きく異なることがあります。

あるときは画面を開かずに処理が終わり、あるときはChatGPTの中にWebページが表示されます。別の場面ではChromeが操作され、さらにデスクトップアプリまで動かされます。

この違いを理解するには、製品名ではなく、AIが利用している「操作経路」で分類する必要があります。

現在の代表的な操作経路は、次の6種類です。

分類	操作するもの	代表例
API・コネクタ	サービス内の構造化データ	Gmail、Drive、Slack、Notion
専用UI	APIで扱えるデータと操作	ClaudeのInteractive Connector
内蔵ブラウザ	普通のWebサイト	ChatGPTデスクトップアプリ
クラウドブラウザ	普通のWebサイト	ChatGPT Work
ブラウザ拡張機能	普段使っているChrome	Codex Chrome Extension、Claude in Chrome
Computer Use	OS上の画面とアプリ	ChatGPT Work、Codex、Claude Cowork

重要なのは、これらが同じ技術の強弱ではないことです。それぞれ、操作対象、実行場所、人間の関与方法が異なります。

1．API・コネクタ：画面ではなくデータを直接扱う

最も構造化された操作経路が、APIやコネクタです。

たとえばAIがGoogle Driveのファイルを検索するとき、必ずしもGoogle Driveの画面を開いて検索欄へ文字を入力しているわけではありません。

次のように、サービスが提供するAPIへ直接問い合わせます。

AI
 ↓
コネクタ・API
 ↓
Google Driveのデータ

この方式では、AIは画面上のボタンや文字の位置ではなく、「ファイル名」「更新日時」「所有者」「本文」といった構造化データを扱います。

画面のデザイン変更による影響が小さく、処理速度と安定性に優れています。ClaudeもCoworkでは、利用可能なコネクタを最初に使い、コネクタがない場合にブラウザ操作へ進むという優先順位を説明しています。

ただし、APIで許可されている範囲が、そのままAIの能力の上限になります。

APIに「記事を取得する」機能しかなければ、記事の取得はできますが、公開状態の変更はできません。「更新する」「削除する」「公開する」といったAPIが用意されていれば、その操作も可能になります。

2．専用UI：APIを人間が操作するための小さなWebアプリ

ClaudeのInteractive Connectorなどは、API操作に専用画面を加えた仕組みです。

Claude
 ↓
専用UI
 ↓
コネクタ・API
 ↓
Asanaなどのサービス

利用者には、タスク一覧、チェックボックス、担当者選択、保存ボタンなどが表示されます。

見た目はWebアプリですが、AsanaやNotionの通常サイトをそのまま開いているわけではありません。APIで取得できるデータと、APIで許可された操作だけを扱う専用UIです。

つまり、専用UIは「APIの画面付き版」と表現できます。

API
＝AIがデータを操作する入口

専用UI
＝同じデータを人間が確認・操作する画面

Claudeでは、通常のテキスト型コネクタとは別に、会話内へ操作可能なUIを表示するInteractive Connectorが提供されています。管理者は、UIを表示するツール呼び出しだけを停止し、テキスト型のコネクタ機能を残すこともできます。

この方式は、普通のWebサイトを自動操作する機能というより、Claudeの中で動く専用業務アプリに近いものです。

3．内蔵ブラウザ：人間とAIが同じWebページを見る

ChatGPTデスクトップアプリの内蔵ブラウザは、通常のWebサイトをChatGPTアプリ内に表示する機能です。

ユーザーのPC
 └─ ChatGPTデスクトップアプリ
      ├─ 会話
      └─ 内蔵ブラウザ
           └─ 普通のWebサイト

専用UIとは異なり、Webサイト側がChatGPT専用の画面を用意する必要はありません。

WordPress管理画面、企業サイト、検索結果、Webサービス、localhost上の開発中ページなどを開けます。ユーザーとChatGPTが同じページを見ながら、複数タブの移動、ダウンロード、ログイン待ち、画面への注釈などを行えます。citeturn735389search2

内蔵ブラウザには、普段使っているChromeとは別のブラウザ状態があります。

したがって、Chromeでログイン済みのWebサービスへ、そのままログイン済み状態でアクセスできるとは限りません。必要に応じて、内蔵ブラウザ側でログインします。

この方式は、次のような共同作業に向いています。

人間がページを確認
 ↓
AIが入力・修正
 ↓
人間が結果を確認
 ↓
AIが続きを実行

一言で表せば、内蔵ブラウザは「AIと一緒に使うブラウザ」です。

4．クラウドブラウザ：Web作業をAIに委任する

ChatGPT Workのクラウドブラウザも、普通のWebサイトを操作します。

内蔵ブラウザとの違いは、ブラウザが動く場所です。

内蔵ブラウザ
ユーザーのPC内で動く

クラウドブラウザ
OpenAI側のリモート環境で動く

クラウドブラウザは、ユーザーと同じ画面で共同作業するためというより、Web作業をAIへ委任するために設計されています。

ユーザー
 ↓ 作業を依頼
ChatGPT Work
 ↓
クラウドブラウザ
 ↓
複数のWebサイトを調査・操作

クラウドブラウザの作業は、ユーザーが会話画面を離れたあともバックグラウンドで継続できます。追加情報や確認が必要な場面では一時停止し、Webサイトがログインを要求した場合には停止します。

両者の違いは、次のように整理できます。

項目	内蔵ブラウザ	クラウドブラウザ
実行場所	ChatGPTデスクトップアプリ内	OpenAI側のリモート環境
人間との関係	共同作業	作業の委任
画面確認	常時確認しやすい	結果と進行を確認
ローカルページ	localhostなどに対応	公開Webが中心
バックグラウンド継続	アプリ内作業が中心	会話を離れても継続可能
ログイン	内蔵ブラウザ内でログイン可能	ログイン要求時に停止する場合がある

内蔵ブラウザを「AIと一緒に使うブラウザ」とすれば、クラウドブラウザは「AIに任せるブラウザ」です。

5．ブラウザ拡張機能：普段使っているChromeをAIが操作する

内蔵ブラウザは独立したブラウザですが、ブラウザ拡張機能はユーザーが普段使っているChromeへ接続します。

ChatGPT・Claude
 ↓
Chrome拡張機能
 ↓
普段使っているChrome
 ├─ ログイン状態
 ├─ Cookie
 ├─ 開いているタブ
 └─ Chrome拡張機能

ChatGPTではCodex Chrome Extension、ClaudeではClaude in Chromeがこの分類に入ります。

ChatGPTの公式説明でも、通常のChromeプロファイル、ログイン済みセッション、開いているタブ、既存のChrome拡張機能が必要な場合には、内蔵ブラウザではなくChrome拡張機能を使うよう案内されています。

Claude in Chromeも、Chrome上のWebサイトを読み、クリックし、ページを移動するブラウザ拡張機能です。Claude Desktop、Claude Cowork、Claude CodeからChrome操作を開始できます。

内蔵ブラウザとの違いは明確です。

内蔵ブラウザ
＝AI専用の独立したブラウザ

Chrome拡張機能
＝人間が普段使うChromeへAIが参加する

ログイン済みサイトを扱いやすい一方で、メール、管理画面、決済情報など、Chrome内の情報へ到達できる範囲が広くなります。利用するサイトと操作権限を限定する運用が重要です。AnthropicもClaude in Chromeについて、Webサイトを直接操作することに伴う固有のリスクを説明しています。

6．Computer Use：ブラウザの外まで操作する

Computer Useは、APIやDOMではなく、OS上のユーザーインターフェースを操作します。

AI
 ↓
スクリーン・ウィンドウ
 ↓
マウス・キーボード操作
 ↓
デスクトップアプリ

対象はブラウザに限られません。

Word、Excel、ファイル管理、業務アプリ、設定画面など、画面と入力装置を持つアプリケーションを操作できます。

ChatGPTデスクトップでは、Computer Useにより、アプリ、ツール、ブラウザをまたいで、クリック、文字入力、ファイル移動などを実行できます。citeturn980500search3turn980500search17

Computer Useは、APIやコネクタが存在しないアプリにも対応できるため、最も汎用性があります。一方で、画面表示、ウィンドウ位置、ダイアログ、読み込み時間などの影響を受けやすくなります。

なお、Computer Useと「カーソルを奪うこと」は完全な同義ではありません。

OpenAIはMac向けのバックグラウンドComputer Useについて、AIが独自のカーソルを使い、人間の作業と並行して複数エージェントを動かせる構成を説明しています。一方、Windowsではアクティブなデスクトップを使用し、実行中に前面操作を占有する場合があります。実装方式とOSによって挙動が変わります。

6つの操作経路を一つの図にまとめる

全体構造は、次のようになります。

構造化されたデータを操作
│
├─ 1．API・コネクタ
│      画面を使わずデータを直接操作
│
├─ 2．専用UI
│      APIに人間向けの画面を追加
│
├─ 3．内蔵ブラウザ
│      AIと人間が普通のWebサイトを共有
│
├─ 4．クラウドブラウザ
│      普通のWebサイト上の作業をAIへ委任
│
├─ 5．ブラウザ拡張機能
│      普段使っているChromeをAIが操作
│
└─ 6．Computer Use
       OS上のアプリと画面を操作
│
画面そのものを操作

上にある方式ほど、データが構造化され、操作が限定されます。

下に進むほど、対象範囲が広がり、人間と同じ画面操作に近づきます。

実務では「最も構造化された経路」を優先する

AIエージェントへ仕事を任せるときは、最も高機能な方式を選べばよいとは限りません。

基本的な優先順位は次のとおりです。

1．API・コネクタで完結する
   → API・コネクタを使う

2．人間の確認や選択が必要
   → 専用UIを使う

3．同じWebページを見ながら進める
   → 内蔵ブラウザを使う

4．公開Web上の作業をまとめて任せる
   → クラウドブラウザを使う

5．普段のChromeのログイン状態が必要
   → Chrome拡張機能を使う

6．デスクトップアプリを操作する
   → Computer Useを使う

APIで処理できる作業にComputer Useを使うと、画面表示という余分な工程が増えます。

反対に、APIが用意されていない古い業務アプリでは、Computer Useが有効な選択肢になります。

重要なのは、「AIが何を操作しているか」ではなく、「どの経路を通って操作しているか」を確認することです。