概要

音声から音声までのループ——文字起こし、モデル、音声合成、割り込み処理——を、差し替え可能なサービスのパイプラインとして組み立てます。正しく作ろうとすると面倒になるのがまさにこの部分です。音声用途ではレイテンシがすべてであり、ターンテイキングと割り込み（バージイン）を後付けではなく一級の要素として扱っています。実運用ではモデル選定以上に、トランスポートとネットワーク構成への配慮が必要になります。

Pipecatで何ができますか？

CLIからの雛形生成とデプロイ — uv tool install "pipecat-ai[cli]"でCLIを導入し、pipecat init quickstartを実行すると動作する状態のボットが生成されます。本番環境への配備と稼働監視も同じCLIから行えます。
複数エージェントの構成 — パイプライン1本がそのままエージェント1体に対応します。処理の引き継ぎ、並列実行、サイドカーとしての常駐を共有バス経由で組み合わせられ、単一プロセスでも複数マシンへの分散でも構成できます。
会話フローの明示的な記述 — Pipecat Flowsが本体に組み込まれており、固定手順と動的な分岐のどちらの会話パスも状態管理込みで書けます。動く実装例はexamples/flows以下にあります。
各種クライアントからの接続 — JavaScript、React、React Native、Swift、Kotlin、C++の公式SDKに加えESP32向けの実装もあり、WebSocketまたはWebRTCのトランスポート越しに接続します。
稼働中パイプラインの観測 — Whiskerを接続すればパイプラインと各プロセッサの挙動をリアルタイムに追跡でき、ターミナルで見たい場合はダッシュボードのTailを使えます。

ドキュメント

pipecat-ai/pipecat のREADMEより転載（BSD-2-Clause）。原文を読む ↗

🎙️ Pipecat: Real-Time Voice & Multimodal AI Agents

Pipecat is an open-source Python framework for building real-time voice and multimodal conversational agents. Build a single voice agent or a full multi-agent system where specialists hand off, fan out in parallel, and coordinate over a shared bus, locally or distributed across processes and machines. Orchestrate audio and video, AI services, transports, and conversation pipelines effortlessly, so you can focus on what makes your agents unique.

Want to dive right in? Run pipecat init quickstart or follow the quickstart guide.

🚀 What you can build

Voice Assistants – natural, streaming conversations with AI
Multi-Agent Systems – specialists that hand off, fan out in parallel, or run as sidecars over a shared bus
AI Companions – coaches, meeting assistants, characters
Multimodal Interfaces – voice, video, images, and more
Interactive Storytelling – creative tools with generative media
Business Agents – customer intake, support bots, guided flows
Complex Dialog Systems – design logic with structured conversations

🧠 Why Pipecat?

Voice-first: Integrates speech recognition, text-to-speech, and conversation handling
Pluggable: Supports many AI services and tools
Composable Pipelines: Build complex behavior from modular components
Multi-Agent Ready: Each pipeline is an agent. Compose them with handoff, parallel fan-out, sidecar workers, or distributed deployments
Real-Time: Ultra-low latency interaction with different transports (e.g. WebSockets or WebRTC)

🌐 Pipecat ecosystem

📱 Client SDKs

Building client applications? You can connect to Pipecat from any platform using our official SDKs:

🧭 Structured conversations

Need predefined or dynamic conversation paths with state management? Pipecat Flows is built into Pipecat. Browse the examples to see it in action.

🪄 Beautiful UIs

Want to build beautiful and engaging experiences? Checkout the Voice UI Kit, a collection of components, hooks and templates for building voice AI applications quickly.

🛠️ Create and deploy projects

The Pipecat CLI ships with pipecat-ai — install it with uv tool install "pipecat-ai[cli]". Run pipecat init to start a project: it sets you up so an AI coding assistant (Claude Code, Codex) builds it for you, and can scaffold a runnable bot in under a minute. Then use the CLI to monitor and deploy your agent to production.

🔍 Debugging

Looking for help debugging your pipeline and processors? Check out Whisker, a real-time Pipecat debugger.

🖥️ Terminal

Love terminal applications? Check out Tail, a terminal dashboard for Pipecat.

🤖 Claude Code skills

Use Pipecat Skills with Claude Code to scaffold projects, deploy to Pipecat Cloud, and more. Install the marketplace with:

claude plugin marketplace add pipecat-ai/skills

and install any of the available plugins.

🧩 Community integrations

Build and share your own Pipecat service integrations! Browse existing community integrations or check out our guide to create your own.

📺️ Pipecat TV channel

Catch new features, interviews, and how-tos on our Pipecat TV channel.

🎬 See it in action

🧩 Available services

このREADMEは一部を省略しています。全文はGitHubにあります。原文を読む ↗