← プロジェクト一覧に戻る

LocalAI

OpenAI APIそっくりの入口をセルフホストで立て、裏の推論エンジンを差し替えられるサーバー。会話から音声・動画まで模します

MIT
スター
50.1k
フォーク
4.6k
オープンIssue
195
最終コミット
2026年10月30日

LocalAIとは

OpenAI向けのクライアントをそのまま向ければ応答します。ツール呼び出し付きのチャット、埋め込み、画像生成、文字起こしと読み上げ、リランカー、リアルタイム音声対話までで、AnthropicやElevenLabs、OllamaのAPIの模倣も持っています。小さな本体がハードウェアを検出し、llama.cpp・vLLM・MLX・whisper.cppといった推論バックエンドを必要になった時点で取得します。Webのギャラリーからモデルをクリックで導入でき、MCP対応の自律エージェントも同梱、APIキー・OIDC・クォータで複数ユーザーにも対応します。正直に比較すると、ノートPCでモデルと会話するだけならOllamaの方が簡単で、1モデルのスループットを追い込むなら素のvLLMの方が身軽です。そしてWindowsのネイティブ版はなく、コンテナかWSLに限られます。

LocalAIで何ができますか?

  • チャットだけではないOpenAI互換 — ツール呼び出しと文法制約付きのチャット、埋め込み、画像生成、文字起こし、読み上げ、リランキング、WebSocket越しのリアルタイム音声対話まで揃い、どのAPI向けに書かれたクライアントにも1つのデプロイで応答します。AnthropicやElevenLabs、OllamaのAPIも話せます。
  • バックエンドは必要になってから、機材に合わせて届く — 本体は小さなバイナリまたはコンテナで、各推論エンジンは別イメージとしてモデルが要求した時点で取得されます。GPUの検出は自動だとプロジェクトは述べています。CUDA・ROCm・Intel oneAPI・Vulkan・Apple Metal・Jetsonに個別のビルドがあります。
  • モデルはギャラリーから、あるいはどこからでも — Web UIのギャラリーにはおよそ1,700件の設定が索引され、クリックで導入できます。CLIでも同じ名前が使え、Hugging Face・Ollama・OCIレジストリからURI指定で直接取得することもできます。
  • エージェントと複数ユーザーの仕組みを同梱 — 組み込まれたLocalAGI層により、Web UIかJSON設定からツール・エージェント別の文書コレクション・MCPサーバーを持つエージェントを作れます。スキルは明示的に有効化するまで動きません。共有環境向けにAPIキー、OIDC、クォータ、ロール別権限も備わりました。
  • 1台に収まらなくなったときの道が2つ — P2Pのフェデレーションは複数インスタンスへ負荷を分散し、ワーカーモードは1つのllama.cppモデルの重みを複数台に分割します(対象は単一モデルのみ、推論開始後のワーカー追加は不可、と制限も明記)。別系統として、空きVRAMを見てルーティングする分散モードもあります。

LocalAIを選ぶ前に

  • Windowsのネイティブ版はなく、コンテナかWSLが前提です。この要望は2024年5月からトラッカーで最多リアクションの未解決Issueであり続けています。報告#2368
  • 単一モデルのスループットを追い込む用途では、これはエンジンではなく管理層です。裏でvLLMを動かすこともできますが、それだけが目的なら直接vLLMを立てる方が無駄がありません。
  • 開発は創始者にほぼ集中しており、コミット数は次点の20倍を超えます。現在は2人目のメンテナーが明記されるようになりました。

スター推移

8月19日〜10月30日 · +1.5k

48.6k50.1k

よくある質問

LocalAIは商用利用できますか?

LocalAIはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。

LocalAIはどの形で使えますか?

LocalAIはローカル実行・セルフホストの形で利用できます。