← プロジェクト一覧に戻る

SGLang
プレフィックス再利用と構造化出力に最適化した推論サーバ
公式Apache-2.0
SGLangとは
プレフィックスキャッシュは、長く同一のシステムプロンプトを多数の呼び出しが共有するエージェント用途でこそ効きます。レスポンスをスキーマに一致させる制約付きデコーディングにも強みがあります。この領域の主な比較対象はvLLMです。自分のトラフィック特性で双方を計測することを勧めます。
SGLangで何ができますか?
- 共通プロンプトの再利用 — RadixAttentionによるプレフィックスキャッシュが同一の先頭トークン列のKVを保持するため、長いシステムプロンプトを共有する呼び出しの再計算を省けます。
- スキーマに沿った出力の強制 — 制約付きデコーディングにより、ツール呼び出しのJSONなど決まった形式に一致する応答を生成できます。
- NVIDIA以外の環境でも動かす — PyPIのsglangを導入して推論サーバを立てられます。NVIDIA GPU(GB200/B300/H100/A100など)のほか、AMD MI355/MI300、Intel Xeon CPU、Google TPU、Ascend NPUに対応します。
- OpenAI SDKからそのまま呼ぶ — OpenAI APIと互換性があり、Hugging Faceのモデルも大半をそのまま読み込めるため、既存のOpenAI SDK向けコードを書き換えずに接続できます。
- RLのロールアウト基盤として使う — 強化学習との連携を標準で備え、AReaL、Miles、slime、Tunix、verlといったポストトレーニングのフレームワークからロールアウト用の推論バックエンドとして利用されています。
スター推移
8月15日〜10月30日 · +6.4k
31.9k38.4k
よくある質問
SGLangは商用利用できますか?
SGLangはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
SGLangはどの形で使えますか?
SGLangはセルフホストの形で利用できます。