llama.cpp と Ollama の比較

どちらもモデルサービングに分類しています。数値はGitHub APIから取得したもので、評価は本サイトによるものです。

基本情報の比較

ここでの量子化の成果が、データセンターGPUのないハードウェアで実用的なモデルを動かせるようにしました。ローカルモデル関連エコシステムの多くがこの上に構築されています。直接扱う場合は、上位のラッパーが隠しているビルドフラグやハードウェア固有の事情に向き合うことになります。

モデルのダウンロード、量子化、OpenAI互換サーバーの提供までを引き受け、ローカルモデルをコマンド1つの距離に置きます。ローカル推論を前提とした開発の出発点として妥当な選択です。ただし多数の同時ユーザーへの配信では、スループット重視のサーバーのほうが明確に有利です。

1コマンドでモデルを実行 — llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFのように指定すればHugging FaceからGGUFを取得してそのまま対話セッションが始まり、Python環境は不要です。
OpenAI互換APIとして公開 — llama serveで起動するとOpenAI互換のRESTサーバーになり、既存クライアントの接続先を差し替えるだけで使えます。付属のWeb UIからも動作を確認できます。
VRAMを超えるモデルも動かす — 1.5ビットから8ビットまでの整数量子化に加え、モデルの一部だけをGPUに載せて残りをCPUで処理するハイブリッド推論に対応しています。
手元のハードウェアに合わせる — Apple SiliconのMetalとARM NEON、NVIDIAのCUDA、AMDのHIP、Moore ThreadsのMUSAに加え、Vulkan・SYCL・OpenCL・WebGPU・CANNなどのバックエンドを同一ソースから選べます。
GBNF文法で出力形式を固定 — GBNF形式の文法ファイルを渡すと生成結果を指定した構文に強制でき、小さなローカルモデルからも構造化された出力を安定して得られます。

コマンド1つでモデルを実行 — ollama run gemma4のように指定すれば重みの取得からチャット開始までを引き受け、実行できるモデルの一覧はollama.com/libraryにあります。
コーディングエージェントをローカルで動かす — ollama launch claudeでClaude Codeの連携をローカルモデル相手に起動でき、Codex、Copilot CLI、OpenCode、Droid、DeepSeek Harnessも同じ方式で立ち上げられます。
自作アプリから呼び出す — http://localhost:11434/api/chatにmodelとmessages、streamを含むJSONを渡すREST APIがあり、pip install ollamaとnpm i ollamaで公式クライアントも導入できます。
メッセージングアプリのアシスタントにする — ollama launch openclawでOpenClawが起動し、WhatsAppやTelegram、Slack、Discordから手元のOllamaを個人用アシスタントとして呼び出せます。