← プロジェクト一覧に戻る

SWE-bench
コーディングエージェントの基準となるベンチマーク。実在のGitHub Issueを、そのリポジトリ自身のテストで判定する
公式MIT
SWE-benchとは
課題はコードベースとIssueを与えてパッチを求めるもので、失敗していたテストが通り、通っていたテストが通ったままである場合にのみ合格とします。判定にプロジェクト自身のテスト群を使うため、採点基準による評価ではなく具体的な意味を持つ結果になります。その分、測っている範囲は限定的です。誰かが既に発見し、起票し、説明した問題に対する修正を書けるかどうかであり、何を作るかの判断、レビュー、Issueという手掛かりなしにコードベースを辿る力は対象外です。
SWE-benchで何ができますか?
- 採点はリポジトリ自身に任せる — 提出されたパッチは、そのプロジェクトの既存テストで採点されます。Issueによって壊れていたテストが通るようになり、元から通っていたテストが壊れないことが条件です。基準がベンチマーク作成者ではなくコードベース側にあります。
- 再現可能な形で評価する — 評価基盤はDockerで完全にコンテナ化されており、自分の環境での実行が他人の環境での実行と一致します。ローカルでの通し実行が現実的でない場合、Modal経由でクラウド実行もできます。
- 主張に合う版を選ぶ — Verifiedは実際に解けるとエンジニアが確認した500問の部分集合、Liteは反復用の小さめの切り出し、Multimodalは視覚を伴う領域、Multilingualは元のPythonリポジトリの外へ広げた版です。
- 公開結果と比べる — 提出結果を集める公開のリーダーボードがあります。別々のエージェントが別々の時期に報告した数字を並べて比較できるのは、この存在によるものです。
- 学習されない分割で評価する — Multimodalでは評価用の分割を意図的に非公開とし、採点をクラウドのツール経由で行います。公開データの取り込みが進んでもこの版が意味を保てるのはこの設計によります。
SWE-benchを選ぶ前に
- 測っているのは、他者が既に切り分けたIssueに対して既存テストを満たすパッチを書けるかです。設計判断、コードレビュー、起票されたIssueが無い状態での作業については何も述べていません。
- 課題は公開リポジトリの履歴から作られており、それは評価対象のモデルが学習した素材でもあります。絶対値としてのスコアは、この重なりを踏まえて読む必要があります。
スター推移
8月21日〜10月30日 · +442
5.7k6.1k
よくある質問
SWE-benchは商用利用できますか?
SWE-benchはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
SWE-benchはどの形で使えますか?
SWE-benchはローカル実行・セルフホストの形で利用できます。