← プロジェクト一覧に戻る

LocalAI
OpenAI APIそっくりの入口をセルフホストで立て、裏の推論エンジンを差し替えられるサーバー。会話から音声・動画まで模します
MIT
LocalAIとは
OpenAI向けのクライアントをそのまま向ければ応答します。ツール呼び出し付きのチャット、埋め込み、画像生成、文字起こしと読み上げ、リランカー、リアルタイム音声対話までで、AnthropicやElevenLabs、OllamaのAPIの模倣も持っています。小さな本体がハードウェアを検出し、llama.cpp・vLLM・MLX・whisper.cppといった推論バックエンドを必要になった時点で取得します。Webのギャラリーからモデルをクリックで導入でき、MCP対応の自律エージェントも同梱、APIキー・OIDC・クォータで複数ユーザーにも対応します。正直に比較すると、ノートPCでモデルと会話するだけならOllamaの方が簡単で、1モデルのスループットを追い込むなら素のvLLMの方が身軽です。そしてWindowsのネイティブ版はなく、コンテナかWSLに限られます。
LocalAIで何ができますか?
- チャットだけではないOpenAI互換 — ツール呼び出しと文法制約付きのチャット、埋め込み、画像生成、文字起こし、読み上げ、リランキング、WebSocket越しのリアルタイム音声対話まで揃い、どのAPI向けに書かれたクライアントにも1つのデプロイで応答します。AnthropicやElevenLabs、OllamaのAPIも話せます。
- バックエンドは必要になってから、機材に合わせて届く — 本体は小さなバイナリまたはコンテナで、各推論エンジンは別イメージとしてモデルが要求した時点で取得されます。GPUの検出は自動だとプロジェクトは述べています。CUDA・ROCm・Intel oneAPI・Vulkan・Apple Metal・Jetsonに個別のビルドがあります。
- モデルはギャラリーから、あるいはどこからでも — Web UIのギャラリーにはおよそ1,700件の設定が索引され、クリックで導入できます。CLIでも同じ名前が使え、Hugging Face・Ollama・OCIレジストリからURI指定で直接取得することもできます。
- エージェントと複数ユーザーの仕組みを同梱 — 組み込まれたLocalAGI層により、Web UIかJSON設定からツール・エージェント別の文書コレクション・MCPサーバーを持つエージェントを作れます。スキルは明示的に有効化するまで動きません。共有環境向けにAPIキー、OIDC、クォータ、ロール別権限も備わりました。
- 1台に収まらなくなったときの道が2つ — P2Pのフェデレーションは複数インスタンスへ負荷を分散し、ワーカーモードは1つのllama.cppモデルの重みを複数台に分割します(対象は単一モデルのみ、推論開始後のワーカー追加は不可、と制限も明記)。別系統として、空きVRAMを見てルーティングする分散モードもあります。
LocalAIを選ぶ前に
- Windowsのネイティブ版はなく、コンテナかWSLが前提です。この要望は2024年5月からトラッカーで最多リアクションの未解決Issueであり続けています。報告#2368
- 単一モデルのスループットを追い込む用途では、これはエンジンではなく管理層です。裏でvLLMを動かすこともできますが、それだけが目的なら直接vLLMを立てる方が無駄がありません。
- 開発は創始者にほぼ集中しており、コミット数は次点の20倍を超えます。現在は2人目のメンテナーが明記されるようになりました。
スター推移
8月19日〜10月30日 · +1.5k
48.6k50.1k
よくある質問
LocalAIは商用利用できますか?
LocalAIはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
LocalAIはどの形で使えますか?
LocalAIはローカル実行・セルフホストの形で利用できます。