コンピュータ操作

Browser Useコンピュータ操作

スクリーンショットからクリック座標を推測させるのではなく、ページ上の操作可能な要素を抽出して構造化リストとしてモデルに渡します。この方式により、フォーム入力やスクレイピングでの安定性が明確に高くなります。一方でcanvas主体のアプリケーションや、bot対策の強いサイトでは読み取れるDOMが存在せず、精度が落ちます。

openinterpreterコーディングエージェント

プロジェクトのディレクトリで`i`と打つと、ファイルを読み、コードを編集し、設定したサンドボックスの中でコマンドを実行します。特徴は`/harness`で、システムプロンプト、ツール定義、メッセージの変換方法を丸ごと、そのモデルの提供元が想定する作法に入れ替えられます。DeepSeekやKimiのような安価なモデルから実用的な仕事を引き出すための設計です。ただし中身はOpenAIのCodex CLIをRustで作り直したフォークで、リリースは2026年6月に始まった0.0.x系のままです。多くの人が知るPython製のOpen Interpreterとは、名前とリポジトリを共有しているだけの別物だと考えてください。

UI-TARS Desktopコンピュータ操作

指示を打ち込むと、アプリが画面のスクリーンショットを視覚言語モデルUI-TARSへ渡し、クリック・キー入力・スクロールに変換して実行します。対象がブラウザに限られずデスクトップ全体に及ぶ点が、ブラウザ専用エージェントとの違いです。難点はモデルで、UI-TARSかDoubao系統を配信するエンドポイントを自分で用意する必要があります。公開されている7Bの重みをvLLMで自前配信するのがドキュメント上のローカル手順で、GPTやClaudeのようなモデルではデスクトップアプリを動かせません。プロジェクトの鼓動も判断材料です。デスクトップ版のバイナリは2025年8月から出ておらず、ホスト型のリモートオペレーターは提供終了、2026年のコミットはAgent TARSスタックへの方向転換とともに大きく減っています。

playwright-mcpコンピュータ操作

MCPクライアントから実ブラウザを操作させるサーバです。ページは要素の役割と名前、そして`e5`のような参照IDを並べたアクセシビリティスナップショットとして返り、エージェントは座標ではなく参照IDを指定して押したり入力したりするため、視覚モデルは要りません。ブラウザはChrome、Firefox、WebKit、Edgeから選べ、既定では画面を出して起動します。通信のモック、Cookieやストレージの読み書き、検証とロケーター生成、トレースと録画は必要な分だけ後から足す設計です。難点は文脈の消費で、README自身がコーディングエージェントにはPlaywright CLIとスキルの併用を勧めています。それでも、探索的な自動化や自己修復するテストのようにブラウザの状態を保ったまま何度も往復する用途では、トークンの消費より文脈を持ち続けられる利点が上回るとしています。

Stagehandコンピュータ操作

手順が分かっている部分は決定論的なPlaywrightで書き、ページの構造が予測できない箇所だけ自然言語に切り替えられます。この混在方式が現実的な中間解です。完全にAI任せの自動化は遅く不安定であり、完全にスクリプト化した自動化は画面刷新のたびに壊れます。

Skyvernコンピュータ操作

画像認識とDOM解析を組み合わせることで、サイトが刷新されてもフローが動き続けます。これは従来のセレクタ依存スクリプトを壊してきた典型的な失敗要因です。ライセンスがAGPLである点に注意してください。ネットワークサービスとして提供する予定がある場合は、実装に着手する前に条項を確認する必要があります。

Cuaコンピュータ操作

コンピュータ操作はいつも同じ壁に当たります。エージェントにはマシンが必要で、それは自分が今使っているマシンであってはいけません。Cuaはその答えを4つ用意しています。導入前に知っておく価値があります。おそらく必要なのは4つ全部ではなく、そのうちの1つだからです。ドライバは、カーソルや前面表示を奪わないまま、エージェントに背面でネイティブアプリを操作させます。サンドボックスは、Linux、macOS、Windows、Androidを1つのAPIの背後に置き、手元のQEMU上でも開発元のクラウド上でも動かせます。Cua-BenchはOSWorldなどの評価を実行し、学習用に操作の記録を書き出します。LumeはAppleの仮想化基盤を使い、Apple Silicon上にmacOSの仮想マシンを作ります。

elizaフレームワーク

elizaOSはTypeScript製のエージェントフレームワークであると同時に、デスクトップとモバイルのアプリ、ホスティングサービス、端末機能への橋渡しまでを1つのリポジトリに収めた製品一式です。開発者が書くのは、名前、指示文、経歴の断片、読み込むプラグインを並べたキャラクターファイルで、あとはランタイムが受け取ったメッセージを保存し、その場面に関係するプロバイダーだけから文脈を集め、モデルにアクションを選ばせて実行し、返答のあとでエバリュエーターが事実を抜き出して記憶に書き戻します。同梱のプラグインには、DiscordやTelegramなどのチャット、MCPサーバーの呼び出し、ブラウザとデスクトップの操作、カレンダーや受信箱といった秘書機能、自分で鍵を持つ暗号資産ウォレット、通信を切っても動く端末内モデルが並びます。ただしnpmの安定版は今も1系で、ここで説明した2系はベータ版とアルファ版でしか配布されていないため、エージェント用のライブラリを1つ選ぶつもりで手を出すと、抱えるものは想定よりかなり大きくなります。

Midscene.jsコンピュータ操作

UIテストは、製品と関係のない理由で壊れます。クラス名が変わった、要素が1階層深くなった、コンポーネントが移動した、といった理由です。Midsceneはセレクタそのものを無くします。手順は文章で書き、要素の位置はモデルが画面の画像から特定し、検証も「その行が強調されている」「レイアウトが崩れていない」のように人が見て分かる内容で書けます。DOMからは届かない場所にも手が届きます。canvasの描画、アイコンだけのボタン、モバイルのネイティブアプリ、別ドメインのフレームなどです。引き換えになるのは1手順あたりの費用と再現性です。各手順が参照ではなくモデルの呼び出しになるため、セレクタなら数秒で終わる一式が同じ時間では終わりません。

Agent Sコンピュータ操作

Agent Sは、1つのモデルが同時にこなすと精度の落ちる2つの仕事を分けています。次に何をするかを決める仕事と、画面のどこをクリックすべきかを割り出す仕事です。計画は汎用のモデルが担い、「保存ボタン」を座標に変換する部分は、別に動かす小さめの視覚モデルが担当します。この分担が成績の理由です。複数回試して選ぶ設定でOSWorldにおいて72.60%に達したとSimularは述べており、人間の成績はおよそ72%とされています。同時に、導入がパッケージの取得だけでは済まない理由でもあります。座標を担うモデルは自分で用意して別の窓口として立ち上げ、そのモデルが返す座標の解像度をエージェントに伝える必要があります。既定では、間にサンドボックスを挟まず、モニタ1台の実機のデスクトップを操作します。

OSWorldベンチマーク

コンピュータ操作系のプロジェクトが揃って引用する共通尺度であり、重みを持つ理由は環境が本物である点にあります。仮想マシン上のUbuntuまたはWindowsで実際のアプリケーションが動き、VMware、VirtualBox、KVM付きのDocker、並列実行用のAWS・Azure・Modalから利用できます。その現実性は同時に費用でもあり、導入にはハイパーバイザ、仮想マシンイメージ、中断した実行の後始末が伴います。結果は版にも敏感です。Verifiedへの更新で課題と評価信号が変わっており、プロジェクトは再実行後の数値と比較するよう求めています。

Windows Agent Arenaベンチマーク

デスクトップ操作エージェントのベンチマークはほぼLinux上で動く一方、商業的に重要なデスクトップの大半はWindowsです。これはその隙間に対するMicrosoftの答えで、再現可能なWindows環境に、人が実際に使うアプリケーションを対象とした課題を並べ、達成できたかどうかで採点します。有用なのは並列実行です。クラウドのマシンに分散させられるため、数百件の課題が1日以上ではなく数分で終わります。発表時だけでなく開発中にも回せるのはこのためです。ただし前提にする前に最終更新日を確認してください。これは2024年の論文に紐づく研究成果物で、その後の動きは緩やかです。