← プロジェクト一覧に戻る

llama.cpp

ノートPCからシングルボードまで動く、可搬なC++推論エンジン

公式MIT
スター
133k
フォーク
25k
オープンIssue
2.6k
最終コミット
2026年10月30日

llama.cppとは

ここでの量子化の成果が、データセンターGPUのないハードウェアで実用的なモデルを動かせるようにしました。ローカルモデル関連エコシステムの多くがこの上に構築されています。直接扱う場合は、上位のラッパーが隠しているビルドフラグやハードウェア固有の事情に向き合うことになります。

llama.cppで何ができますか?

  • 1コマンドでモデルを実行 — llama cli -hf ggml-org/Qwen3.5-0.8B-GGUFのように指定すればHugging FaceからGGUFを取得してそのまま対話セッションが始まり、Python環境は不要です。
  • OpenAI互換APIとして公開 — llama serveで起動するとOpenAI互換のRESTサーバーになり、既存クライアントの接続先を差し替えるだけで使えます。付属のWeb UIからも動作を確認できます。
  • VRAMを超えるモデルも動かす — 1.5ビットから8ビットまでの整数量子化に加え、モデルの一部だけをGPUに載せて残りをCPUで処理するハイブリッド推論に対応しています。
  • 手元のハードウェアに合わせる — Apple SiliconのMetalとARM NEON、NVIDIAのCUDA、AMDのHIP、Moore ThreadsのMUSAに加え、Vulkan・SYCL・OpenCL・WebGPU・CANNなどのバックエンドを同一ソースから選べます。
  • GBNF文法で出力形式を固定 — GBNF形式の文法ファイルを渡すと生成結果を指定した構文に強制でき、小さなローカルモデルからも構造化された出力を安定して得られます。

llama.cppを選ぶ前に

  • 配信するモデルが、前回の処理結果を次の応答でも使い回せるかを確認してください。毎回プロンプト全体を処理し直しているという報告があり、その場合は費用が二重にかかり、それ以前のやりとりも失われます。報告#21831

スター推移

8月15日〜10月30日 · +8.9k

124k133k

よくある質問

llama.cppは商用利用できますか?

llama.cppはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。

llama.cppはどの形で使えますか?

llama.cppはローカル実行・セルフホストの形で利用できます。

llama.cpp
AIに聞く
GitHub