← プロジェクト一覧に戻る

Windows Agent Arena

OSWorldのWindows版。実際のアプリケーションを使った課題を、並列実行で数分のうちに一通り走らせられる

公式MIT
スター
913
フォーク
106
オープンIssue
40
最終コミット
2026年10月26日

Windows Agent Arenaとは

デスクトップ操作エージェントのベンチマークはほぼLinux上で動く一方、商業的に重要なデスクトップの大半はWindowsです。これはその隙間に対するMicrosoftの答えで、再現可能なWindows環境に、人が実際に使うアプリケーションを対象とした課題を並べ、達成できたかどうかで採点します。有用なのは並列実行です。クラウドのマシンに分散させられるため、数百件の課題が1日以上ではなく数分で終わります。発表時だけでなく開発中にも回せるのはこのためです。ただし前提にする前に最終更新日を確認してください。これは2024年の論文に紐づく研究成果物で、その後の動きは緩やかです。

Windows Agent Arenaで何ができますか?

  • 利用者と同じOS上で試す — 課題は実際のWindowsアプリケーションに対して実行されます。Linuxだけのベンチマークが実運用の成績を予測しなくなる境目がここです。
  • 一通りの実行を数分で終える — クラウドのマシンに並列で分散できるため、全課題の実行を公開前の1回ではなく開発中の作業として回せます。
  • 点数が頭打ちになったら難度を上げる — 難しいモードでは課題の下準備が行われないため、エージェントは作業を始める前に適切なアプリを自分で見つけて開く必要があります。
  • 動く参照エージェントから始める — 論文で使われたエージェントが画面理解の構成ごと同梱されており、新しいエージェントを比較する相手が最初から用意されています。

Windows Agent Arenaを選ぶ前に

  • これは2024年の論文に付随する研究成果物で、その後の更新は緩やかです。課題群を現行の標準として扱う前に、直近の動きを確認してください。
  • 実行にはWindows環境の用意が必要で、並列実行の手順はMicrosoft自身の機械学習クラウドサービスを前提に書かれています。一般的な基盤向けではありません。

スター推移

8月29日〜10月30日 · +22

891913

よくある質問

Windows Agent Arenaは商用利用できますか?

Windows Agent ArenaはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。

Windows Agent Arenaはどの形で使えますか?

Windows Agent Arenaはローカル実行・セルフホストの形で利用できます。

Windows Agent Arena
AIに聞く
GitHub