← プロジェクト一覧に戻る

OSWorld
模擬画面ではなく、仮想マシン上の実OSに対してデスクトップ操作エージェントを評価するベンチマーク
公式Apache-2.0
OSWorldとは
コンピュータ操作系のプロジェクトが揃って引用する共通尺度であり、重みを持つ理由は環境が本物である点にあります。仮想マシン上のUbuntuまたはWindowsで実際のアプリケーションが動き、VMware、VirtualBox、KVM付きのDocker、並列実行用のAWS・Azure・Modalから利用できます。その現実性は同時に費用でもあり、導入にはハイパーバイザ、仮想マシンイメージ、中断した実行の後始末が伴います。結果は版にも敏感です。Verifiedへの更新で課題と評価信号が変わっており、プロジェクトは再実行後の数値と比較するよう求めています。
OSWorldで何ができますか?
- 模擬環境ではなくOSを操作する — 課題は実際のアプリケーションが入ったUbuntuまたはWindows上で実行されます。ベンチマーク用に単純化された代替物ではなく、本物のダイアログ、ファイル管理、アプリ固有の癖に対処する必要があります。
- 実行場所を選ぶ — 作業機ではVMwareやVirtualBox、サーバーではKVM付きのDocker、並列実行が必要ならAWS・Azure・Modalが使えます。環境の層がベンチマーク本体から意図的に分離されています。
- 通し評価を1時間程度で終える — Verifiedへの更新でAWSでの並列化に対応しました。従来1日かかっていた通しの評価が1時間以内に収まるとプロジェクトは説明しています。
- 課題群なしで環境だけ使う — デスクトップ環境が独立したパッケージとして公開されています。公開された課題群の再現だけでなく、自前の課題を作って採点する用途にも使えます。
- 再実行済みの基準値と比べる — モデルごとの結果がプロジェクトのサイトで管理され、Verified版に合わせて再実行されています。新しい結果を並べる先として一貫した数値群があります。
OSWorldを選ぶ前に
- Verifiedへの更新で課題と評価信号の双方が変わり、プロジェクトは再実行後の数値と比較するよう求めています。更新前後のスコアは互いに比較できません。
- 実行はインフラ作業です。ハイパーバイザまたはKVM対応ホスト、取得すべき仮想マシンイメージが必要で、中断した実行が残したコンテナは手動で片付けます。
スター推移
8月21日〜10月30日 · +144
3.1k3.2k
よくある質問
OSWorldは商用利用できますか?
OSWorldはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
OSWorldはどの形で使えますか?
OSWorldはローカル実行・セルフホストの形で利用できます。