← プロジェクト一覧に戻る
DeepEval
評価をユニットテストとして書く仕組み。悪化したプロンプトやモデル差し替えを、壊れたコードと同じようにCIで止める
公式Apache-2.0
DeepEvalとは
形は意図的にpytestそのものです。テスト関数の中に表明を書き、それを発見して実行するランナーがあり、引数を変えたケースも書けます。違うのは、表明の対象が「回答が文脈に忠実だったか」「エージェントがタスクを完了したか」である点です。この形にした狙いは明確で、品質の劣化を、構文エラーを捕まえるのと同じ関門の前に持ち込むことにあります。想定しておくべきなのは、これらの指標の多くがモデルによって採点されることです。通常のテストには無い費用とばらつきが伴います。
DeepEvalで何ができますか?
- テストと同じやり方で評価を回す — 表明は普通のテスト関数の中に置き、1つのコマンドがファイルを発見して実行します。引数を変えたケースもpytestと同様に書けます。別途覚えて保守する評価基盤が要りません。
- 評価基準を文章で書く — G-Evalは評価基準を自然な文章で受け取り、それに沿って採点します。既存の指標では表せない業務上のルールも、強制力のあるテストにできます。
- 最終回答だけでなく途中も採点する — 構成要素単位の評価では、検索、ツール呼び出し、推論の各ステップを個別に採点します。テストの失敗が、単に回答が悪化したことではなく、どの部分が劣化したかを示します。
- エージェントを完了できたかで評価する — タスク完了の指標は、目的が実際に達成されたかどうかを問います。応答単位の品質スコアでは構造的に答えられない問いです。
- 1往復ではなく会話を試験する — 会話用の指標は、やり取り全体を通した一貫性などを多ターンで評価します。数ターン進んで初めて現れる失敗を対象にできます。
DeepEvalを選ぶ前に
- 指標の多くはモデルが採点します。通常のユニットテストには無いAPI費用と実行ごとのばらつきが伴い、評価役のモデルを固定することが被験モデルの固定と同じくらい重要になります。
- Confident AIの公開部分にあたります。ローカル実行だけで完結しますが、共有レポート、劣化の履歴、本番監視は背後の商用プラットフォーム側にあります。
スター推移
8月21日〜10月30日 · +1.4k
17.8k19.2k
よくある質問
DeepEvalは商用利用できますか?
DeepEvalはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
DeepEvalはどの形で使えますか?
DeepEvalはローカル実行・セルフホストの形で利用できます。