← プロジェクト一覧に戻る

MLflow
多くの組織がすでに動かしている実験管理基盤に、エージェントの実行記録・評価・プロンプトの版を同じ画面で載せる
Apache-2.0
MLflowとは
MLflowがエージェント向けに効いてくるのは、すでにそこにあるからです。モデルの学習管理として動かしている組織が多く、GenAI向けの機能はエージェントの実行記録、評価の実行、プロンプトの版を、その同じ実験画面に並べます。計測は多数のエージェント関連ライブラリに対して自動で行われ、1行足すだけでプロンプト、検索、ツール呼び出し、応答が記録されます。形式はOpenTelemetryのGenAI規約に沿うため、他の道具からも読めます。記録された実行はそのまま評価用のデータになり、既製の判定役や自作の判定役で採点できます。難点は、MLflowがライブラリではなく基盤である点です。実行記録だけが目的でも、データベースと成果物置き場を伴う管理サーバーを動かすことになります。
MLflowで何ができますか?
- 計測コードを書かずに実行を記録する — 多数のエージェントフレームワークとモデル提供元に自動計測が対応しており、設定を1行足すだけでプロンプトや検索、ツール呼び出しが記録されます。
- 他の道具でも読める形式で残す — 記録はOpenTelemetryの生成AI向け規約に沿うため、既存の監視基盤へ書き出せます。この製品の中だけに閉じません。
- 記録した実行を評価データに変える — 実際の利用がそのまま試験項目になります。利用者が本当に送ってくる入力に対して改善したかを確かめる方法は、これ以外にありません。
- 既製または自作の判定役で採点する — 事実と異なる出力や的外れな回答など、よくある失敗には既製の判定役があります。自作の採点基準を書けば、その業務にとっての良さを定義できます。
- プロンプトの版を実行と結び付けて保存する — プロンプトの雛形を保存・比較し、それを使った実行までたどれます。品質が落ちたとき、原因となった編集を特定できます。
MLflowを選ぶ前に
- MLflowはクライアントライブラリではなく基盤です。実行記録だけが目的でも、データベースと成果物置き場を伴う管理サーバーとその更新作業を抱えることになります。
- 資料はオープンな本体とDatabricksのマネージド版をまとめて説明しています。監視や統制の機能を前提に設計する前に、自社運用でも使えるかを確認してください。
スター推移
8月27日〜10月30日 · +912
27.7k28.6k
よくある質問
MLflowは商用利用できますか?
MLflowはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
MLflowはどの形で使えますか?
MLflowはセルフホスト・ローカル実行・マネージドクラウドの形で利用できます。