Cua — コンピュータ操作

Cuaとは

コンピュータ操作はいつも同じ壁に当たります。エージェントにはマシンが必要で、それは自分が今使っているマシンであってはいけません。Cuaはその答えを4つ用意しています。導入前に知っておく価値があります。おそらく必要なのは4つ全部ではなく、そのうちの1つだからです。ドライバは、カーソルや前面表示を奪わないまま、エージェントに背面でネイティブアプリを操作させます。サンドボックスは、Linux、macOS、Windows、Androidを1つのAPIの背後に置き、手元のQEMU上でも開発元のクラウド上でも動かせます。Cua-BenchはOSWorldなどの評価を実行し、学習用に操作の記録を書き出します。LumeはAppleの仮想化基盤を使い、Apple Silicon上にmacOSの仮想マシンを作ります。

Cuaで何ができますか？

画面を渡さずにエージェントを働かせる — ドライバはネイティブアプリに背面からクリックとキー入力を送るため、カーソルも前面のウィンドウも手元に残ります。
4つのOSを1つのAPIで扱う — 下がLinuxでもmacOSでもWindowsでもAndroidでも、画面の取得、クリック、入力、シェルの実行は同じ呼び出しで行えます。
手元でもクラウドでも同じコードで動かす — 同じサンドボックスのコードが、手元のQEMU上の仮想マシンにも開発元のクラウドにも向けられます。試作から移行するときに書き直しが要りません。
既存のコーディングエージェントから使う — ドライバはコマンドとMCPサーバーの形で提供されるため、Claude CodeやCursor、Codexから独自の連携なしにデスクトップを操作できます。
公開されたベンチマークで採点する — OSWorld、ScreenSpot、Windows Arenaを自分のエージェントに対して並列に実行し、操作の記録を学習や検証のために書き出せます。
Apple Silicon上にmacOSの仮想マシンを作る — LumeはAppleの仮想化基盤でmacOSとLinuxの仮想マシンを作成・管理します。macOSのサンドボックスが成立するのはこれがあるためです。

Cuaを選ぶ前に

1つの名前の下に4つのプロジェクトがあります。ドライバ、サンドボックス、評価環境、仮想化のどれが必要かを見極めるところから始まり、導入手順も資料も別々です。
背面での入力が十分に使えるのはmacOSとWindowsです。Linuxでは、X11か特定のWayland環境かによって、生の背面入力に制約があるとプロジェクトが明記しています。

よくある質問

Cuaは商用利用できますか?

CuaはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。

Cuaはどの形で使えますか?

Cuaはローカル実行・セルフホスト・マネージドクラウドの形で利用できます。

ドキュメント

trycua/cua のREADMEより転載（MIT）。原文を読む ↗

Choose Your Path

Cua Drivers - Background computer-use on macOS, Windows, and Linux

Drive native desktop apps in the background. Agents click, type, and verify without stealing the cursor or focus. Use the same CLI and MCP server on macOS, Windows, and Linux from Claude Code, Cursor, Codex, OpenClaw, and custom clients. Linux supports X11 and compositor-specific Wayland routes with explicit limits for raw background input.

macOS / Linux

/bin/bash -c "$(curl -fsSL https://cua.ai/driver/install.sh)"

Windows (PowerShell)

irm https://cua.ai/driver/install.ps1 | iex

Then follow the post-install instructions.

Drive your first app | Installation | CLI Reference

Source documentation, architecture notes, and the optional agent skill pack live in libs/cua-driver/README.md.

Cua - Agent-Ready Sandboxes for Any OS

Build agents that see screens, click buttons, and complete tasks autonomously. One API for any VM or container image — cloud or local.

pip install cua

# Requires Python 3.11 or later
from cua import Sandbox, Image

# Same API regardless of OS or runtime
async with Sandbox.ephemeral(Image.linux()) as sb:   # or .macos() .windows() .android()
    result = await sb.shell.run("echo hello")
    screenshot = await sb.screenshot()
    await sb.mouse.click(100, 200)
    await sb.keyboard.type("Hello from Cua!")
    await sb.mobile.gesture((100, 500), (100, 200))  # multi-touch gestures

	Linux container	Linux VM	macOS	Windows	Android	BYOI (.qcow2, .iso)
Cloud (cua.ai)	✅	✅	✅	✅	✅	🔜 soon
Local (QEMU)	✅	✅	✅	✅	✅	✅

Get Started | Examples | API Reference

Cua-Bench - Benchmarks & RL Environments

Evaluate computer-use agents on OSWorld, ScreenSpot, Windows Arena, and custom tasks. Export trajectories for training.

# Clone, install, and create base image
git clone https://github.com/trycua/cua && cd cua/cua-bench
uv tool install -e . && cb image create linux-docker

# Run benchmark with agent
cb run dataset datasets/cua-bench-basic --agent cua-agent --max-parallel 4

Get Started | Partner With Us | Registry | CLI Reference

Lume - macOS Virtualization

Create and manage macOS/Linux VMs with near-native performance on Apple Silicon using Apple’s Virtualization.Framework.

# Install Lume
/bin/bash -c "$(curl -fsSL https://cua.ai/lume/install.sh)"

# Create and start a vanilla macOS VM from an Apple restore image
curl -L "$(lume ipsw | tail -n 1)" -o ~/Downloads/macos-tahoe.ipsw
lume create macos-tahoe --ipsw ~/Downloads/macos-tahoe.ipsw --unattended tahoe
lume run macos-tahoe

The --unattended option prepares the installed guest offline. The built-in sequoia and tahoe presets create the lume user, enable SSH, configure autologin, and disable sleep and screen locking. The default credentials are lume / lume.

The Tahoe flow is E2E verified. Sequoia may still open the Accessibility step of Setup Assistant on its first display boot; see issue #2155.

Get Started | FAQ | CLI Reference

Packages

Package	Description
cua-driver	Background computer-use agent for macOS, Windows, and Linux
cua-agent	AI agent framework for computer-use tasks
cua-sandbox	SDK for creating and controlling sandboxes
cua-computer-server	Driver for UI interactions and code execution in sandboxes
cua-bench	Benchmarks and RL environments for computer-use
lume	macOS/Linux VM management on Apple Silicon
lumier	Docker-compatible interface for Lume VMs

Resources

Documentation — Guides, examples, and API reference
Blog — Tutorials, updates, and research
Discord — Community support and discussions
GitHub Issues — Bug reports and feature requests
Security — Private vulnerability reporting

Trademarks

Apple, macOS, Ubuntu, Canonical, and Microsoft are trademarks of their respective owners. This project is not affiliated with or endorsed by these companies.

Thank you to all our GitHub Sponsors!