← プロジェクト一覧に戻る

SGLang

プレフィックス再利用と構造化出力に最適化した推論サーバ

公式Apache-2.0
スター
38.3k
フォーク
10k
オープンIssue
6.3k
最終コミット
2026年10月30日

SGLangとは

プレフィックスキャッシュは、長く同一のシステムプロンプトを多数の呼び出しが共有するエージェント用途でこそ効きます。レスポンスをスキーマに一致させる制約付きデコーディングにも強みがあります。この領域の主な比較対象はvLLMです。自分のトラフィック特性で双方を計測することを勧めます。

SGLangで何ができますか?

  • 共通プロンプトの再利用 — RadixAttentionによるプレフィックスキャッシュが同一の先頭トークン列のKVを保持するため、長いシステムプロンプトを共有する呼び出しの再計算を省けます。
  • スキーマに沿った出力の強制 — 制約付きデコーディングにより、ツール呼び出しのJSONなど決まった形式に一致する応答を生成できます。
  • NVIDIA以外の環境でも動かす — PyPIのsglangを導入して推論サーバを立てられます。NVIDIA GPU(GB200/B300/H100/A100など)のほか、AMD MI355/MI300、Intel Xeon CPU、Google TPU、Ascend NPUに対応します。
  • OpenAI SDKからそのまま呼ぶ — OpenAI APIと互換性があり、Hugging Faceのモデルも大半をそのまま読み込めるため、既存のOpenAI SDK向けコードを書き換えずに接続できます。
  • RLのロールアウト基盤として使う — 強化学習との連携を標準で備え、AReaL、Miles、slime、Tunix、verlといったポストトレーニングのフレームワークからロールアウト用の推論バックエンドとして利用されています。

スター推移

8月15日〜10月30日 · +6.4k

31.9k38.4k

よくある質問

SGLangは商用利用できますか?

SGLangはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。

SGLangはどの形で使えますか?

SGLangはセルフホストの形で利用できます。