← プロジェクト一覧に戻る

UI-TARS Desktop

視覚モデルUI-TARSが実際のマウスとキーボードを動かすByteDanceのデスクトップエージェント。動かせるモデルは同系統に限られます

公式Apache-2.0
スター
39.5k
フォーク
4k
オープンIssue
506
最終コミット
2026年10月9日

UI-TARS Desktopとは

指示を打ち込むと、アプリが画面のスクリーンショットを視覚言語モデルUI-TARSへ渡し、クリック・キー入力・スクロールに変換して実行します。対象がブラウザに限られずデスクトップ全体に及ぶ点が、ブラウザ専用エージェントとの違いです。難点はモデルで、UI-TARSかDoubao系統を配信するエンドポイントを自分で用意する必要があります。公開されている7Bの重みをvLLMで自前配信するのがドキュメント上のローカル手順で、GPTやClaudeのようなモデルではデスクトップアプリを動かせません。プロジェクトの鼓動も判断材料です。デスクトップ版のバイナリは2025年8月から出ておらず、ホスト型のリモートオペレーターは提供終了、2026年のコミットはAgent TARSスタックへの方向転換とともに大きく減っています。

UI-TARS Desktopで何ができますか?

  • ブラウザではなく、デスクトップ全体 — コンピューター用オペレーターは画面全体を、ブラウザ用オペレーターはChrome・Edge・Firefoxを操作します。ファイルマネージャーや事務ソフト、ネイティブのダイアログにも手が届きます。間にサンドボックスはなく実際のカーソルが動くため、macOSではアクセシビリティと画面収録の許可が前提になります。
  • モデルのエンドポイントは自分で用意する — 対応系統を配信するOpenAI互換エンドポイントなら使えます。公開されているUI-TARS-1.5-7Bの重みを自前のGPUでvLLM配信するか、Hugging Faceの推論エンドポイント、あるいはByteDanceのVolcEngineクラウドが提供するDoubao系視覚モデルです。
  • 同じリポジトリに汎用版のAgent TARS — npmのCLIとローカルWeb UIで、同じ土台を検索・ブラウジング・ファイル操作向けの汎用エージェントとして使えます。ブラウザ操作は3モードあり、視覚なしのモデルでも動くDOMモード、スクリーンショットから座標を出す視覚モード、その併用が選べます。
  • 自作の自動化に組み込むSDK — UI-TARS SDKにはデスクトップ入力・ブラウザ・adb経由のAndroidを担うオペレーターが同梱されており、スクリーンショットから操作への変換ループをアプリ経由ではなく自分の自動化に埋め込めます。

UI-TARS Desktopを選ぶ前に

  • デスクトップアプリ向けに文書化されているのはUI-TARSとDoubao系のエンドポイントだけです。Ollama対応はトラッカーで最多リアクションの未解決要望のままで、GPTやClaudeでは代わりになりません。報告#43
  • 対応はWindowsとmacOSのみで、Linux対応は2025年1月から未解決の要望です。報告#9
  • 配布は止まっています。デスクトップ版バイナリは2025年8月、その他のリリースも2025年11月が最後で、ホスト型リモートオペレーターは提供終了しました。採用前に開発が続いているかを確かめてください。

スター推移

8月19日〜10月30日 · +809

38.6k39.5k

よくある質問

UI-TARS Desktopは商用利用できますか?

UI-TARS DesktopはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。

UI-TARS Desktopはどの形で使えますか?

UI-TARS Desktopはローカル実行の形で利用できます。

UI-TARS Desktop
AIに聞く
GitHub