モデルサービング

Ollamaモデルサービング

モデルのダウンロード、量子化、OpenAI互換サーバーの提供までを引き受け、ローカルモデルをコマンド1つの距離に置きます。ローカル推論を前提とした開発の出発点として妥当な選択です。ただし多数の同時ユーザーへの配信では、スループット重視のサーバーのほうが明確に有利です。

llama.cppモデルサービング

ここでの量子化の成果が、データセンターGPUのないハードウェアで実用的なモデルを動かせるようにしました。ローカルモデル関連エコシステムの多くがこの上に構築されています。直接扱う場合は、上位のラッパーが隠しているビルドフラグやハードウェア固有の事情に向き合うことになります。

vLLMモデルサービング

PagedAttentionと継続バッチングにより、素朴な実装よりはるかに多くの同時リクエストを1枚のGPUで捌けます。エージェントは呼び出し回数が多くなりがちなため、この差が効いてきます。OpenAI互換エンドポイントを備えており、多くのエージェントフレームワークはベースURLの変更だけで接続できます。一方でGPUメモリの見積もりやモデルのロード時間など、運用面の作業は相応に発生します。

SGLangモデルサービング

プレフィックスキャッシュは、長く同一のシステムプロンプトを多数の呼び出しが共有するエージェント用途でこそ効きます。レスポンスをスキーマに一致させる制約付きデコーディングにも強みがあります。この領域の主な比較対象はvLLMです。自分のトラフィック特性で双方を計測することを勧めます。