← プロジェクト一覧に戻る

vLLM
1台の機械で多人数分のAI応答を同時に捌くためのサーバ
公式Apache-2.0
vLLMとは
処理待ちのリクエストをまとめて捌く工夫により、素朴な実装よりはるかに多くの同時利用をGPU1枚で支えられます。エージェントは呼び出し回数が多くなりがちなので、この差が効いてきます。OpenAIと同じ形式で呼び出せるため、多くのフレームワークは接続先の変更だけで移れます。一方でGPUメモリの見積もりやモデルの読み込み時間など、運用の手間は相応にかかります。
vLLMで何ができますか?
- GPU1枚で同時に捌ける数を増やす — 処理中のリクエストを細かく区切って詰め込む方式により、1件ずつ順に処理するやり方よりはるかに多くの要求をGPU1枚で同時に扱えます。
- 既存クライアントをそのまま接続 — OpenAIと同じ呼び出し形式に対応しているため、多くのフレームワークは接続先の指定を変えるだけで切り替えられます。AnthropicのMessages APIとgRPCにも対応します。
- 手持ちのハードウェアで動かす — uv pip install vllmで導入でき、NVIDIA・AMD・IntelのGPUに加えてx86/ARM/PowerPCのCPUでも動作します。Google TPU、Intel Gaudi、Huawei Ascend、Apple Siliconなどはハードウェアプラグインとして提供されます。
- 軽量化してGPUに載せる — モデルを軽量化した各種の形式(FP8、INT8、INT4、GPTQ/AWQ、GGUFなど)をそのまま配信できるため、扱えるモデルの大きさがGPUのメモリ容量だけで決まるわけではありません。
- 応答の形式を固定する — 決まった形式で応答させる機能があり、応答の中から道具の呼び出しや考えた過程だけを取り出す部品も同梱されています。
vLLMを選ぶ前に
- 対応ハードウェアの一覧はサーバ側の話で、そこで動くモデルすべての話ではありません。新しいモデルは最新の機種にしかない機能を必要とすることがあり、一世代前の対応機種で動かす作業は設定ではなく開発課題として残っています。報告#50576
スター推移
8月15日〜10月30日 · +6.8k
89.1k95.9k
よくある質問
vLLMは商用利用できますか?
vLLMはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
vLLMはどの形で使えますか?
vLLMはセルフホスト・ローカル実行の形で利用できます。