← プロジェクト一覧に戻る

Terminal-Bench
ターミナル型エージェントが実際に置かれる環境、すなわちコンテナ内のシェルで能力を測る
公式Apache-2.0
Terminal-Benchとは
飽和して差が付かなくなる固定セットではなく、継続的に更新されるベンチマークです。課題は時間とともに追加・修正され、データセットはタグ付きリリースとして公開され、Harborという別の実行基盤から動かします。この設計が強みであり同時に厄介さでもあります。データセットの版を伴わない数字はほとんど意味を持たず、1.0は独立したリポジトリにあって元のURLはそちらへ転送されます。さらに、結果を信頼する前に、まず模範解答を繰り返し実行して自分のサンドボックスが健全かを確かめる手順が案内されています。
Terminal-Benchで何ができますか?
- 1コマンドでエージェントを走らせる — Harborがデータセットを取得して実行します。どのエージェントとどのモデルを対象にするかはフラグで指定するため、2つのモデルの比較は環境の作り直しではなく引数の変更で済みます。
- 数字を信じる前にサンドボックスを検証する — 案内されている最初の手順は、模範解答を複数回実行して全課題が自分の環境で正しく動くことを確認することです。模範解答が不安定なら、出てくるスコアは自分のインフラを測っていることになります。
- クラウドで実際の並列度で回す — 実行環境としてModalに対応し、数百件の同時実行が可能です。課題群の通し実行が一晩がかりではなく一区切りの時間で終わるのはこのためです。
- 動き続ける最前線を追う — 課題は継続的に追加・修正され、タグ付きのデータセットとして公開されます。エージェントの性能向上に対して、上限に張り付かず差を付け続けられます。
- 納得できない課題を直す — 課題の不具合はIssueとして報告し、改善や新規課題はプルリクエストとして提出します。ロードマップも公開されており、課題群は与えられるものではなく編集できるものです。
Terminal-Benchを選ぶ前に
- データセットは実行基盤とは別に版管理され、設計上変わり続けます。Terminal-Benchのスコアは、どのデータセット版で得たかを双方が明示して初めて比較できます。
- 1.0は別リポジトリにあり、元のプロジェクトURLは現在こちらではなくそちらへ転送されます。過去に公開された結果は、どちらで得たものかを確認する必要があります。
スター推移
8月21日〜10月30日 · +468
524992
よくある質問
Terminal-Benchは商用利用できますか?
Terminal-BenchはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Terminal-Benchはどの形で使えますか?
Terminal-Benchはローカル実行・セルフホストの形で利用できます。