← プロジェクト一覧に戻る

OpenLLMetry
LLMアプリ向けのOpenTelemetry計装。トレースは、既に運用しているバックエンドへ送られる
公式Apache-2.0
OpenLLMetryとは
同分類の他の選択肢は専用バックエンドを持つ製品であり、導入すると運用対象が増え、テレメトリの半分が他と切り離された場所に置かれます。こちらは計装の層です。モデル呼び出しとベクトルデータベース呼び出しを標準的なOpenTelemetryのスパンとして出力し、Datadog、Grafana、New Relic、Splunk、Honeycombなど、既存のトレースの送り先へそのまま流します。引き換えに、汎用のバックエンドで見えるのはスパンとレイテンシであって、専用プラットフォームが中心に据えるプロンプトの版管理や評価の画面ではありません。
OpenLLMetryで何ができますか?
- LLMのトレースを他のトレースと同じ場所へ送る — 出力が標準のOpenTelemetryであるため、Datadog、Grafana、New Relic、Splunk、Honeycombを含む25以上の送り先に対応します。Traceloop自身のダッシュボードも選べます。
- 構造を変えずに計装する — 対応フレームワークを使っていても、基盤モデルのAPIを直接呼んでいても、トレースは非侵襲的に取り付きます。導入がリファクタリングから始まりません。
- 遅い区間を正しく特定する — ベクトルデータベースへの呼び出しがモデル呼び出しと並べて記録されます。応答の遅さの原因が検索側かモデル側かを切り分けられます。
- 計装をやり直さずに監視基盤を乗り換える — スパンは設計上ベンダー中立です。バックエンドの変更が、コードベースへの2周目ではなくエクスポーターの設定変更で済みます。
- 自動化が届かない箇所は手で記録する — 自動計装が覆わないコード経路については、モデルやベクトルデータベースへの呼び出しを手動で記録できます。対応一覧に載っている範囲が上限にはなりません。
OpenLLMetryを選ぶ前に
- 汎用の監視バックエンドが描くのはスパンとレイテンシで、プロンプトの版管理、評価スコア、データセットの整備といった、専用プラットフォームが中心に据える画面は得られません。
スター推移
8月21日〜10月30日 · +126
7.4k7.5k
よくある質問
OpenLLMetryは商用利用できますか?
OpenLLMetryはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
OpenLLMetryはどの形で使えますか?
OpenLLMetryはセルフホスト・ローカル実行の形で利用できます。