← プロジェクト一覧に戻る

LiteLLM
100社超のモデルプロバイダの前に立つ、OpenAI互換の単一インターフェース。ライブラリとしてもゲートウェイとしても使える
公式MIT
LiteLLMとは
ライブラリとしては、1つの関数呼び出しで対応プロバイダのどれにでも、OpenAI形式のリクエストとレスポンスのまま到達できます。多くのチームが導入する理由は後者のゲートウェイのほうです。自己ホストのサーバーが、個別の予算と流量制限を持つ仮想キーを発行し、プロバイダの障害時には代替へ切り替え、複数の配備先へ負荷を分散し、キーごとの費用を記録します。代償として、リクエスト経路に自分で運用する構成要素が1つ増えます。またenterpriseディレクトリ配下のコードはMITの対象外です。
LiteLLMで何ができますか?
- どのプロバイダも1つの関数で呼ぶ — completionを1回呼ぶだけで、モデル名を指定してOpenAI形式の応答が返ります。OpenAI・Vertex AI・Bedrock・Anthropicなどの切り替えが、呼び出し箇所の書き換えではなく文字列の変更で済みます。
- すべての手前にゲートウェイを置く — 自己ホストのプロキシがOpenAI互換のエンドポイントを提供します。既にOpenAI形式で話すクライアント、SDK、ツールは接続先を変えるだけで、意識せずに経路制御の恩恵を受けます。
- 上限付きのキーを配る — 仮想キーはキー単位・チーム単位・利用者単位で予算と流量制限を持ちます。試験的な利用が部門の枠を使い切ることがなく、プロバイダの本物の認証情報はゲートウェイの外に出ません。
- プロバイダが落ちても供給を続ける — 失敗したリクエストは自動的に別の配備先へ切り替わります。同じモデルの複数の配備先へ負荷を分散させることもでき、1か所に固定されません。
- 支出を見て、通信を検査する — ログ、費用の集計、管理画面で、何が通り何にいくらかかったかを把握できます。同じ層のガードレールで、送信前に内容のフィルタリングや個人情報のマスキングを適用できます。
LiteLLMを選ぶ前に
- MITの範囲はenterpriseディレクトリの手前までで、そこはライセンス文書が別条件と定めています。公開部分と商用部分が同じリポジトリに同居し、境界はパスで引かれます。
- ゲートウェイを採用すると、すべてのモデル呼び出しの経路に自分で運用する構成要素が入ります。プロバイダ側の可用性に加えて、その稼働と更新も自分の担当になります。
スター推移
8月21日〜10月30日 · +5.5k
56.9k62.4k
よくある質問
LiteLLMは商用利用できますか?
LiteLLMはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
LiteLLMはどの形で使えますか?
LiteLLMはセルフホスト・ローカル実行の形で利用できます。