Inspect AI — ベンチマーク / データセット

Inspect AIとは

この分類の他の項目がそれぞれ1つの計測であるのに対し、これは計測を作るための機構です。データセットが入力と正解を与え、ソルバーが応答を生成し、スコアラーが正誤を判定し、タスクがこの3つを束ねます。ソルバーは単一のモデル呼び出しでも、多ターンのエージェント全体でも構いません。200を超える既製の評価が同梱され、モデルが書いたコードはサンドボックス内で実行され、ログビューアで各サンプルの実際の経過を確認できます。できないのは、何を測る価値があるかを教えてくれることです。

Inspect AIで何ができますか？

4つの部品から評価を組み立てる — データセットが入力と正解を持ち、ソルバーが入力を応答に変え、スコアラーが文字列比較・モデルによる採点・自作の方式で判定し、タスクがそれらを束ねます。スコアラーの差し替えに評価の書き直しが伴いません。
200件の既製評価から始める — 多数の既製評価が同梱されています。一般的な計測はすぐ使え、自作すべき部分を本当に固有な範囲に限定できます。
応答だけでなくエージェントを評価する — 組み込みのエージェントと複数エージェント用の部品に加え、bash、python、テキスト編集、Web検索、ブラウズ、コンピュータ操作のツール、そして独自ツールやMCPツールに対応します。評価対象をエージェント全体にできます。
信頼できないコードを安全に実行する — Docker、Kubernetes、Modal、Proxmox、Vagrantでのサンドボックス実行に対応し、それ以外は拡張APIで追加できます。モデルが書いたコードを実行する評価では前提条件になります。
実際の経過を目で確認する — Web版のログビューアで個々のサンプルと実行を確認できます。意外な集計値を、報告するだけでなく具体的な記録まで辿れるようになります。

Inspect AIを選ぶ前に

判定ではなくフレームワークです。設計した評価を実行するだけなので、何を測り何を合格とするかの決定は自分に残り、そこが実際に難しい部分です。

スター推移

8月21日〜8月28日 · +59

2.6k2.7k

よくある質問

Inspect AIは商用利用できますか?

Inspect AIはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。

Inspect AIはどの形で使えますか?

Inspect AIはローカル実行・セルフホストの形で利用できます。

ドキュメント

UKGovernmentBEIS/inspect_ai のREADMEより転載（MIT）。原文を読む ↗

Welcome to Inspect, a framework for large language model evaluations created by the UK AI Security Institute.

Inspect provides many built-in components, including facilities for prompt engineering, tool usage, multi-turn dialog, and model graded evaluations. Extensions to Inspect (e.g. to support new elicitation and scoring techniques) can be provided by other Python packages.

To get started with Inspect, please see the documentation at https://inspect.aisi.org.uk/.

Inspect also includes a collection of over 200 pre-built evaluations ready to run on any model (learn more at https://inspect.aisi.org.uk/evals/).

Coding agents: a structured index of the docs is published at https://inspect.aisi.org.uk/llms.txt. The user guide is concatenated as Markdown at https://inspect.aisi.org.uk/llms-guide.txt, and https://inspect.aisi.org.uk/llms-full.txt additionally bundles the API and CLI reference. Individual pages are available as Markdown by appending .md to the .html path (e.g. /extensions/index.html.md).

To work on development of Inspect, clone the repository and install with the -e flag and [dev] optional dependencies:

git clone https://github.com/UKGovernmentBEIS/inspect_ai.git
cd inspect_ai
pip install -e ".[dev]"

Alternatively, if you use uv, sync the development environment from the checked-in lockfile:

uv sync --extra dev

The uv workflow is supported but not required. The uv.lock file records a reproducible development resolution; project dependencies are still declared in requirements*.txt and exposed through pyproject.toml. When changing dependencies, update the appropriate requirements file and refresh the lockfile rather than relying on uv add.

Optionally install pre-commit hooks via

make hooks

Run linting, formatting, and tests via

make check
make test

When working in a uv-managed environment, prefix those commands with uv run (for example, uv run make check).

If you use VS Code, you should be sure to have installed the recommended extensions (Python, Ruff, and MyPy). Note that you’ll be prompted to install these when you open the project in VS Code.

Frontend development (TypeScript)

The web UI lives in a git submodule at src/inspect_ai/_view/ts-mono/. These steps are only needed if you plan to work on the TypeScript/React frontend — Python-only contributors can skip this entirely.

Initialize the submodule and install dependencies — see the one-time setup guide.

Documentation

To work on the Inspect documentation, install the optional [doc] dependencies with the -e flag and build the docs:

pip install -e ".[doc]"
cd docs
quarto render # or 'quarto preview'

If you intend to work on the docs iteratively, you’ll want to install the Quarto extension in VS Code.