← プロジェクト一覧に戻る
Portkey AI Gateway
あらゆるモデル提供元の手前に置く1つの窓口。再試行、切り替え、費用の抑制をエージェントの呼び出し量に耐える形で担う
MIT
Portkey AI Gatewayとは
エージェントはチャットアプリよりはるかに多くモデルを呼ぶため、提供元のたまの流量制限が日常的な停止に変わります。Portkeyのゲートウェイは、自分のコードと提供元の間に入ってそれを吸収します。失敗した呼び出しは再試行し、制限に達した鍵は別の鍵に譲り、使えないモデルは次の候補に切り替わります。同じプロンプトはキャッシュから返せるため、二重に支払わずに済みます。振り分けの規則を書けば、分類には安いモデル、難しい処理には高いモデルというように送り先を変えられ、その判断がコード全体に散らばりません。遅延の増加は1ミリ秒未満、大きさは約122KBだとプロジェクトは述べています。機能を前提に設計する前に確認したい点が1つあります。資料はオープンなゲートウェイと同社のホスティング型製品をまとめて説明しています。
Portkey AI Gatewayで何ができますか?
- コードを変えずに提供元を替える — OpenAI互換の窓口1つが非常に多くのモデルの手前に立つため、切り替えはクライアントの書き直しではなく設定の一行で済みます。
- 提供元の調子が悪い時間帯を乗り切る — 自動の再試行、別モデルへの切り替え、複数の鍵への分散により、流量制限や障害の最中でも実行を続けられます。
- 同じプロンプトに二重で払わない — 繰り返しの要求をキャッシュから返します。毎ターン同じ文脈を送り直すエージェントのループでは特に効きます。
- 要求に見合ったモデルへ振り分ける — 条件付きの振り分けが要求の内容から送り先を決めるため、定型的な処理は安いモデル、それ以外は高いモデルという使い分けができます。
- 入口と出口で規則に照らす — ガードレールが送信時と受信時に働くので、何を送ってよく何を返してよいかの方針を、各サービスではなく1か所で適用できます。
- MCPサーバーも同じ扉の内側に置く — リモートのMCPサーバーへもゲートウェイ経由で接続でき、ツールの利用にモデル呼び出しと同じ認証と記録を適用できます。
Portkey AI Gatewayを選ぶ前に
- 資料はオープンなゲートウェイとPortkeyのホスティング型製品を区別せずに説明しています。機能を前提に設計する前に、自分が動かす版に含まれるかを確認してください。
- 開発元は、企業向けゲートウェイをオープン版に統合する2.0を先行公開中だと説明しています。つまり現時点では、オープン版と資料に書かれた製品はまだ同一ではありません。
スター推移
8月27日〜10月30日 · +455
12.8k13.3k
よくある質問
Portkey AI Gatewayは商用利用できますか?
Portkey AI GatewayはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Portkey AI Gatewayはどの形で使えますか?
Portkey AI Gatewayはセルフホスト・ローカル実行・マネージドクラウドの形で利用できます。