AIエージェントは、どのようにブラウザやアプリを操作しているのか

API、DOM、オブジェクトモデル、Computer Useの違い

生成AIは、文章を作るだけの道具から、ブラウザや業務アプリを操作して仕事を進めるAIエージェントへ変わりつつあります。実際に使うと、AIが作業しているのにマウスカーソルが動かない場合と、カーソルが動いて自分の操作と競合する場合があります。

この違いは、何を操作しているかではなく、どの経路で操作しているかから生まれます。本稿では、AIエージェントの代表的な操作経路を整理します。

AIエージェントがAPI、DOM、オブジェクトモデル、Computer Useを使い分ける仕組み — AIエージェントは、構造化された操作経路を優先し、必要に応じて画面操作を使います。

Contents

AIエージェントには4つの操作経路がある

コネクタやAPIによる操作
ブラウザ拡張機能による操作
アプリ専用アドインやオブジェクトモデルによる操作
Computer Useによる画面操作

上にある経路ほど、対象を構造化されたデータとして扱えます。下に行くほど、人間と同じ画面、マウス、キーボードに近づきます。

1．コネクタやAPIによる操作

Gmail、Google Drive、Slack、Notion、Microsoft 365などのサービスは、外部プログラムがデータを取得・更新するためのAPIを提供しています。AIに対応するコネクタがあれば、画面を開いて検索欄へ入力する代わりに、サービスと直接通信できます。

この方式は高速で、画面レイアウトの変更にも影響されにくく、通常はマウスカーソルを使いません。大量のメール検索、ファイル一覧の取得、データベース更新などに向いています。

2．ブラウザ拡張機能による操作

コネクタがないWebサイトでも、ブラウザ拡張機能を通じて操作できる場合があります。Webページは、人間には画面として見えますが、ブラウザ内部では見出し、文章、入力欄、ボタンなどの部品が階層構造として管理されています。この構造がDOM（Document Object Model）です。

DOMを利用できれば、AIは画面上の座標だけを推測せず、「ログインという名前のボタン」や「メールアドレス入力欄」を構造的に認識できます。そのため、システムのマウスカーソルを動かさずにクリックや入力を実行できることがあります。

ただし、ブラウザ操作を「DOMだけで動く仕組み」と説明するのは正確ではありません。実際のブラウザエージェントは、DOM、タブ情報、JavaScript、アクセシビリティ情報、ブラウザ内部の制御機能、スクリーンショットなどを組み合わせます。カーソルが動かない場合でも、ページ状態の確認に画像認識を使うことがあります。

3．アドインとオブジェクトモデルによる操作

WordやExcelはWebページではないため、通常のHTML DOMを持ちません。その代わり、文書、段落、表、セル、数式、グラフなどを構造化して扱うオブジェクトモデルがあります。

AIが専用アドイン、API、コネクタ、SDKを通じてこの構造へ接続できれば、画面上の文章やセルを一つずつクリックせずに読み書きできます。この場合も、通常はシステムカーソルを占有しません。

重要なのは、アプリにオブジェクトモデルがあるだけでは足りないことです。AI側に、その構造へ接続する経路が必要です。接続手段がなければ、WordやExcelであっても画面操作に切り替わります。

4．Computer Useによる画面操作

専用の連携手段がないデスクトップアプリでは、AIがスクリーンショットを取得し、画面上のボタンや入力欄を見つけ、マウスとキーボードで操作します。これは人間のパソコン操作に最も近い方式です。

スクリーンショットを取得する
操作対象の位置を判断する
カーソルを移動してクリックする
キーボードで入力する
再び画面を確認する

AIとユーザーが同じマウスとキーボードを共有するため、利用者には「カーソルを奪われた」と感じられます。対応範囲は広い一方、画面変更の影響を受けやすく、構造化された操作経路より速度と安定性が下がりやすい方式です。

カーソルの動きは手掛かりになる

操作方式	カーソル	主な特徴
コネクタ・API	通常は動かない	サービスと直接通信する
ブラウザ内部の操作	通常は動かない	DOMやタブ情報などを組み合わせる
アドイン・オブジェクトモデル	通常は動かない	アプリ内部の構造を読み書きする
Computer Use	動く可能性が高い	画面、マウス、キーボードを使う