← プロジェクト一覧に戻る

promptfoo

宣言的な評価と自動レッドチーミングを1つのCLIで。処理はすべて手元のマシンで完結する

公式MIT
スター
26.6k
フォーク
2.6k
オープンIssue
897
最終コミット
2026年10月30日

promptfooとは

テストケースはYAMLです。プロンプト、いくつかの入力、そして出力に対する表明を書きます。それだけで、同じ入力に対して複数のプロンプトやモデルを並べた比較表が得られ、変更で品質が下がったときにビルドを失敗させられます。同じツールがアプリケーションへの攻撃も行い、敵対的な入力を生成して脆弱性やコンプライアンス上のリスクを洗い出します。ただし外側から、プロンプトを入れて回答を見る形で動きます。稼働中のエージェントのどの段階で問題が起きたかを知りたい場合、この道具は向きません。

promptfooで何ができますか?

  • 基盤ではなくテストそのものを書く — プロンプト、入力、表明を書いたYAMLファイルが設定のすべてです。保守すべきノートブックも、先に組み上げるテストフレームワークもありません。どの言語のコードベースからでも使えます。
  • 選択肢を表で比べる — 結果はプロンプトと入力を軸にした行列として、Web画面とコマンドラインの双方に表示されます。2つのプロンプトやモデルの優劣を、印象ではなく表で決められます。
  • 劣化したらビルドを止める — CLIとしても、ライブラリとしても、GitHub ActionsなどのCIパイプラインの中でも動きます。評価を、思い出したときの作業から通過必須の関門に変えられます。
  • 先に自分のアプリを攻撃する — 自動レッドチーミングが敵対的な入力を生成し、脆弱性とコンプライアンス上のリスクを洗い出します。同分類の評価ツールが手を出さないセキュリティ側を覆います。
  • データを手元に置いたままにする — 評価はローカルで実行され、モデルプロバイダとは直接やり取りします。テストの入出力が採点のために第三者のサービスを経由することがありません。

promptfooを選ぶ前に

  • アプリケーションを外側から動かすため、トレースの代わりにはなりません。多段のエージェント内部で失敗した場合、回答が悪化したことは分かっても、どの段階が原因かは分かりません。

スター推移

8月21日〜10月30日 · +2.2k

24.4k26.6k

よくある質問

promptfooは商用利用できますか?

promptfooはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。

promptfooはどの形で使えますか?

promptfooはローカル実行・セルフホストの形で利用できます。

promptfoo
AIに聞く
GitHub