← プロジェクト一覧に戻る
GEPA
失敗の度合いを採点するのではなく、なぜ失敗したかを読んでプロンプトを改良する手法
公式MIT
GEPAとは
強化学習は実行全体を1つの数値へ圧縮するため、何が悪かったかを示す部分を捨ててしまいます。GEPAはそれを保持します。エラーメッセージ、実行の記録、推論のログをモデルへ戻し、失敗の原因を診断させて具体的な修正案を出させます。さらに、1つの勝者へ収束させず、それぞれ異なる事例で強い候補プロンプトの集合を保ちます。プロジェクトは、強化学習が1万回超を要する場面で100〜500回の評価で結果に達すると述べています。実行も反省もモデル呼び出しであるため、この効率は強化学習との比較であって、費用ゼロという意味ではありません。
GEPAで何ができますか?
- 点数ではなく理由を返す — 各実行からエラーメッセージ、実行時の計測データ、推論のログを集め、モデルに渡します。モデルは失敗の原因を診断し、プロンプトへの具体的な修正案を出します。
- 得意分野の違う候補を残す — パレート境界に、それぞれ別の事例群で最も強いプロンプトを複数保持します。ある事例の改善が、別の事例の性能を気付かないうちに壊すことがありません。
- DSPyから統合作業なしで使う — DSPyに最適化器として組み込まれています。既存のDSPyプログラムは、両者を繋ぐ処理を書くのではなく選択するだけで最適化できます。
- プロンプト連鎖でない対象も最適化する — スコアと軌跡の双方を返すevaluateメソッドを備えたアダプタを用意すれば、実行して記録できるものなら何でも対象にできます。従来型のLLMパイプラインに限りません。
- 再学習できないモデルでも使える — 重みへのアクセスも学習基盤も不要です。モデルそのものではなく送る内容を変えるため、APIのみで提供されるモデルも対象になります。
GEPAを選ぶ前に
- 1周ごとに、候補の実行と軌跡への反省で2度モデルを呼びます。プロジェクトが示す試行回数の少なさは強化学習との比較であって、費用がかからないという意味ではありません。
- DSPy以外ではアダプタを自分で書きます。システムを実行し、スコアと反省に値する軌跡の両方を返す部品が必要で、先にシステムを計測可能にしておく作業が伴います。
スター推移
8月21日〜10月30日 · +1k
6.2k7.2k
よくある質問
GEPAは商用利用できますか?
GEPAはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
GEPAはどの形で使えますか?
GEPAはローカル実行・セルフホストの形で利用できます。