← プロジェクト一覧に戻る
Inspect AI
英国AI Security Institute発の、評価そのものを書いて実行するためのフレームワーク。個別のベンチマークではない
公式MIT
Inspect AIとは
この分類の他の項目がそれぞれ1つの計測であるのに対し、これは計測を作るための機構です。データセットが入力と正解を与え、ソルバーが応答を生成し、スコアラーが正誤を判定し、タスクがこの3つを束ねます。ソルバーは単一のモデル呼び出しでも、多ターンのエージェント全体でも構いません。200を超える既製の評価が同梱され、モデルが書いたコードはサンドボックス内で実行され、ログビューアで各サンプルの実際の経過を確認できます。できないのは、何を測る価値があるかを教えてくれることです。
Inspect AIで何ができますか?
- 4つの部品から評価を組み立てる — データセットが入力と正解を持ち、ソルバーが入力を応答に変え、スコアラーが文字列比較・モデルによる採点・自作の方式で判定し、タスクがそれらを束ねます。スコアラーの差し替えに評価の書き直しが伴いません。
- 200件の既製評価から始める — 多数の既製評価が同梱されています。一般的な計測はすぐ使え、自作すべき部分を本当に固有な範囲に限定できます。
- 応答だけでなくエージェントを評価する — 組み込みのエージェントと複数エージェント用の部品に加え、bash、python、テキスト編集、Web検索、ブラウズ、コンピュータ操作のツール、そして独自ツールやMCPツールに対応します。評価対象をエージェント全体にできます。
- 信頼できないコードを安全に実行する — Docker、Kubernetes、Modal、Proxmox、Vagrantでのサンドボックス実行に対応し、それ以外は拡張APIで追加できます。モデルが書いたコードを実行する評価では前提条件になります。
- 実際の経過を目で確認する — Web版のログビューアで個々のサンプルと実行を確認できます。意外な集計値を、報告するだけでなく具体的な記録まで辿れるようになります。
Inspect AIを選ぶ前に
- 判定ではなくフレームワークです。設計した評価を実行するだけなので、何を測り何を合格とするかの決定は自分に残り、そこが実際に難しい部分です。
スター推移
8月21日〜10月30日 · +545
2.6k3.1k
よくある質問
Inspect AIは商用利用できますか?
Inspect AIはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Inspect AIはどの形で使えますか?
Inspect AIはローカル実行・セルフホストの形で利用できます。