← プロジェクト一覧に戻る

Agent S
何をするかを考えるモデルと、画面上のどこを指すかだけを担うモデルを分けて組み合わせるデスクトップ操作エージェント
Apache-2.0
Agent Sとは
Agent Sは、1つのモデルが同時にこなすと精度の落ちる2つの仕事を分けています。次に何をするかを決める仕事と、画面のどこをクリックすべきかを割り出す仕事です。計画は汎用のモデルが担い、「保存ボタン」を座標に変換する部分は、別に動かす小さめの視覚モデルが担当します。この分担が成績の理由です。複数回試して選ぶ設定でOSWorldにおいて72.60%に達したとSimularは述べており、人間の成績はおよそ72%とされています。同時に、導入がパッケージの取得だけでは済まない理由でもあります。座標を担うモデルは自分で用意して別の窓口として立ち上げ、そのモデルが返す座標の解像度をエージェントに伝える必要があります。既定では、間にサンドボックスを挟まず、モニタ1台の実機のデスクトップを操作します。
Agent Sで何ができますか?
- 計画と位置指定を分ける — 汎用のモデルが次の手順を決め、別の視覚モデルが説明を座標に変換します。1つのモデルに両方をさせるより安定します。
- 2つのモデルを別々に選ぶ — 計画側は主要なクラウドのモデルでも自前で動かすモデルでもよく、座標側はそれとは独立に設定します。
- 実行時に費用と正確さを取り替える — 複数回試して選ぶ方式が公表値を押し上げています。1回で足りる場面では無効にできます。
- 手元のデスクトップでそのまま動かす — Linux、macOS、Windowsに直接対応しているため、試すために仮想マシンを用意する必要がありません。
- クリックが不向きな作業はコードで済ませる — 任意で有効にできる実行モードでは、大量のファイル処理などをクリックの繰り返しではなくスクリプトを書いて実行できます。
Agent Sを選ぶ前に
- 座標を担うモデルは必須で同梱されていません。自分で動かすか有料の窓口を用意し、そのモデルが返す座標の解像度を渡す必要があります。誤ると全てのクリックがずれます。
- 既定では実機のデスクトップをモニタ1台の前提で操作し、実行モードを有効にすると生成したコードをそのマシンで動かします。隔離はプロジェクト側では用意されず、自分で設ける必要があります。
スター推移
8月27日〜10月30日 · +636
12.2k12.8k
よくある質問
Agent Sは商用利用できますか?
Agent SはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Agent Sはどの形で使えますか?
Agent Sはローカル実行・セルフホストの形で利用できます。