
UI-TARS Desktop
視覚モデルUI-TARSが実際のマウスとキーボードを動かすByteDanceのデスクトップエージェント。動かせるモデルは同系統に限られます
UI-TARS Desktopとは
指示を打ち込むと、アプリが画面のスクリーンショットを視覚言語モデルUI-TARSへ渡し、クリック・キー入力・スクロールに変換して実行します。対象がブラウザに限られずデスクトップ全体に及ぶ点が、ブラウザ専用エージェントとの違いです。難点はモデルで、UI-TARSかDoubao系統を配信するエンドポイントを自分で用意する必要があります。公開されている7Bの重みをvLLMで自前配信するのがドキュメント上のローカル手順で、GPTやClaudeのようなモデルではデスクトップアプリを動かせません。プロジェクトの鼓動も判断材料です。デスクトップ版のバイナリは2025年8月から出ておらず、ホスト型のリモートオペレーターは提供終了、2026年のコミットはAgent TARSスタックへの方向転換とともに大きく減っています。
UI-TARS Desktopで何ができますか?
- ブラウザではなく、デスクトップ全体 — コンピューター用オペレーターは画面全体を、ブラウザ用オペレーターはChrome・Edge・Firefoxを操作します。ファイルマネージャーや事務ソフト、ネイティブのダイアログにも手が届きます。間にサンドボックスはなく実際のカーソルが動くため、macOSではアクセシビリティと画面収録の許可が前提になります。
- モデルのエンドポイントは自分で用意する — 対応系統を配信するOpenAI互換エンドポイントなら使えます。公開されているUI-TARS-1.5-7Bの重みを自前のGPUでvLLM配信するか、Hugging Faceの推論エンドポイント、あるいはByteDanceのVolcEngineクラウドが提供するDoubao系視覚モデルです。
- 同じリポジトリに汎用版のAgent TARS — npmのCLIとローカルWeb UIで、同じ土台を検索・ブラウジング・ファイル操作向けの汎用エージェントとして使えます。ブラウザ操作は3モードあり、視覚なしのモデルでも動くDOMモード、スクリーンショットから座標を出す視覚モード、その併用が選べます。
- 自作の自動化に組み込むSDK — UI-TARS SDKにはデスクトップ入力・ブラウザ・adb経由のAndroidを担うオペレーターが同梱されており、スクリーンショットから操作への変換ループをアプリ経由ではなく自分の自動化に埋め込めます。
UI-TARS Desktopを選ぶ前に
スター推移
8月19日〜8月28日 · +94
よくある質問
UI-TARS Desktopは商用利用できますか?
UI-TARS DesktopはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
UI-TARS Desktopはどの形で使えますか?
UI-TARS Desktopはローカル実行の形で利用できます。
ドキュメント
bytedance/UI-TARS-desktop のREADMEより転載(Apache-2.0)。 原文を読む ↗
Introduction
English | 简体中文
TARS* is a Multimodal AI Agent stack, currently shipping two projects: Agent TARS and UI-TARS-desktop:
Table of Contents
News
- [2025-11-05] 🎉 We’re excited to announce the release of Agent TARS CLI v0.3.0! This version brings streaming support for multiple tools (shell commands, multi-file structured display), runtime settings with timing statistics for tool calls and deep thinking, Event Stream Viewer for data flow tracking and debugging. Additionally, it features exclusive support for AIO agent Sandbox as isolated all-in-one tools execution environment.
- [2025-06-25] We released an Agent TARS Beta and Agent TARS CLI - Introducing Agent TARS Beta, a multimodal AI agent that aims to explore a work form that is closer to human-like task completion through rich multimodal capabilities (such as GUI Agent, Vision) and seamless integration with various real-world tools.
- [2025-06-12] - 🎁 We are thrilled to announce the release of UI-TARS Desktop v0.2.0! This update introduces two powerful new features: Remote Computer Operator and Remote Browser Operator—both completely free. No configuration required: simply click to remotely control any computer or browser, and experience a new level of convenience and intelligence.
- [2025-04-17] - 🎉 We’re thrilled to announce the release of new UI-TARS Desktop application v0.1.0, featuring a redesigned Agent UI. The application enhances the computer using experience, introduces new browser operation features, and supports the advanced UI-TARS-1.5 model for improved performance and precise control.
- [2025-02-20] - 📦 Introduced UI TARS SDK, is a powerful cross-platform toolkit for building GUI automation agents.
- [2025-01-23] - 🚀 We updated the Cloud Deployment section in the 中文版: GUI模型部署教程 with new information related to the ModelScope platform. You can now use the ModelScope platform for deployment.
Agent TARS
Agent TARS is a general multimodal AI Agent stack, it brings the power of GUI Agent and Vision into your terminal, computer, browser and product. It primarily ships with a CLI and Web UI for usage. It aims to provide a workflow that is closer to human-like task completion through cutting-edge multimodal LLMs and seamless integration with various real-world MCP tools.
Showcase
Please help me book the earliest flight from San Jose to New York on September 1st and the last return flight on September 6th on Priceline
https://github.com/user-attachments/assets/772b0eef-aef7-4ab9-8cb0-9611820539d8
For more use cases, please check out #842.
Core Features
- 🖱️ One-Click Out-of-the-box CLI - Supports both headful Web UI and headless server execution.
- 🌐 Hybrid Browser Agent - Control browsers using GUI Agent, DOM, or a hybrid strategy.
- 🔄 Event Stream - Protocol-driven Event Stream drives Context Engineering and Agent UI.
- 🧰 MCP Integration - The kernel is built on MCP and also supports mounting MCP Servers to connect to real-world tools.
Quick Start
# Launch with `npx`.
npx @agent-tars/cli@latest
# Install globally, required Node.js >= 22
npm install @agent-tars/cli@latest -g
# Run with your preferred model provider
agent-tars --provider volcengine --model doubao-1-5-thinking-vision-pro-250428 --apiKey your-api-key
agent-tars --provider anthropic --model claude-3-7-sonnet-latest --apiKey your-api-key
Visit the comprehensive Quick Start guide for detailed setup instructions.
Documentation
🌟 Explore Agent TARS Universe 🌟
UI-TARS Desktop
UI-TARS Desktop is a native GUI agent for your local computer, driven by UI-TARS and Seed-1.5-VL/1.6 series models.
Showcase
| Instruction | Local Operator | Remote Operator |
|---|---|---|
| Please help me open the autosave feature of VS Code and delay AutoSave operations for 500 milliseconds in the VS Code setting. | ||
| Could you help me check the latest open issue of the UI-TARS-Desktop project on GitHub? |
Features
- 🤖 Natural language control powered by Vision-Language Model
- 🖥️ Screenshot and visual recognition support
- 🎯 Precise mouse and keyboard control
- 💻 Cross-platform support (Windows/MacOS/Browser)
- 🔄 Real-time feedback and status display
- 🔐 Private and secure - fully local processing
Quick Start
See Quick Start