← プロジェクト一覧に戻る
llama.cpp
ノートPCからシングルボードまで動く、可搬なC++推論エンジン
公式MIT
llama.cppとは
ここでの量子化の成果が、データセンターGPUのないハードウェアで実用的なモデルを動かせるようにしました。ローカルモデル関連エコシステムの多くがこの上に構築されています。直接扱う場合は、上位のラッパーが隠しているビルドフラグやハードウェア固有の事情に向き合うことになります。
llama.cppで何ができますか?
- 1コマンドでモデルを実行 — llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFのように指定すればHugging FaceからGGUFを取得してそのまま対話セッションが始まり、Python環境は不要です。
- OpenAI互換APIとして公開 — llama serveで起動するとOpenAI互換のRESTサーバーになり、既存クライアントの接続先を差し替えるだけで使えます。付属のWeb UIからも動作を確認できます。
- VRAMを超えるモデルも動かす — 1.5ビットから8ビットまでの整数量子化に加え、モデルの一部だけをGPUに載せて残りをCPUで処理するハイブリッド推論に対応しています。
- 手元のハードウェアに合わせる — Apple SiliconのMetalとARM NEON、NVIDIAのCUDA、AMDのHIP、Moore ThreadsのMUSAに加え、Vulkan・SYCL・OpenCL・WebGPU・CANNなどのバックエンドを同一ソースから選べます。
- GBNF文法で出力形式を固定 — GBNF形式の文法ファイルを渡すと生成結果を指定した構文に強制でき、小さなローカルモデルからも構造化された出力を安定して得られます。
llama.cppを選ぶ前に
- 配信するモデルが、前回の処理結果を次の応答でも使い回せるかを確認してください。毎回プロンプト全体を処理し直しているという報告があり、その場合は費用が二重にかかり、それ以前のやりとりも失われます。報告#21831
スター推移
8月15日〜10月30日 · +8.9k
124k133k
よくある質問
llama.cppは商用利用できますか?
llama.cppはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
llama.cppはどの形で使えますか?
llama.cppはローカル実行・セルフホストの形で利用できます。