← プロジェクト一覧に戻る

AgentBench
モデルをエージェントとして測る。問答集ではなく、シェル、データベース、買い物サイトの中に置いて成否を見る
Apache-2.0
AgentBenchとは
うまく答えられるモデルが、何かを操作させると使い物にならないことはあります。問答形式のベンチマークではそれが見えません。AgentBenchは、反応が返ってくる環境の中にモデルを置きます。作業しなければならないシェル、問い合わせを組み立てるデータベース、知識グラフ、テキストの世界、そして正しい商品が注文されて初めて成功となる買い物サイトです。採点の基準は課題を達成できたかどうかで、推論の読みやすさではありません。現行版はこれらの環境をコンテナとして動かし、関数呼び出し形式で操作させるため、自前の機材で再現できます。ただし公開されている実務上の注意もあり、約16GBのメモリを要する環境や、ワーカーを再起動するまで資源を消費し続ける環境が含まれます。
AgentBenchで何ができますか?
- 文章のうまさではなく達成を採点する — データベースが正しい行を返したか、正しい商品が注文されたかで判定します。もっともらしい回答よりはるかに厳しい基準です。
- 性質の異なる操作を一度に扱う — シェル作業、データベースの問い合わせ、知識グラフの探索、テキストの世界、Webでの買い物は、それぞれ違う形で失敗します。弱点の出方が見えます。
- 自分の環境で再現する — 各環境はコンテナとして提供され、1つのコマンドで起動します。比較のために外部の順位表に頼る必要がありません。
- 実際に使う関数呼び出しの経路で測る — 現行版は自由文の解析ではなく関数呼び出しでモデルを動かすため、測っているのは本番コードが使うのと同じ接続方法です。
- 実行規模に応じてワーカーを増やす — 各環境は独立したワーカーとして動き、複製できます。長い評価をマシンの資源に広げて実行できます。
AgentBenchを選ぶ前に
- 運用上の粗さが公式に記されています。起動に約16GBのメモリを要する環境、ワーカーを再起動するまでメモリとディスクを消費し続ける環境、別途データを入手する必要がある環境があります。
- 現行の関数呼び出し版は初期版と課題の構成が異なるため、公表値を比較できるのは同じ版どうしに限られます。スコアを見るときはどの版のものかを確認してください。
スター推移
8月27日〜10月30日 · +105
3.7k3.8k
よくある質問
AgentBenchは商用利用できますか?
AgentBenchはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
AgentBenchはどの形で使えますか?
AgentBenchはローカル実行・セルフホストの形で利用できます。