← プロジェクト一覧に戻る

TEN Framework
音声・電話・アバターまで含むリアルタイム多モーダル対話基盤。Apacheに追加条件が付いたライセンス
公式ソース公開型
TEN Frameworkとは
音声エージェントのうち、モデルの外側にあって通常は手作業で組み上げる部分を覆います。発話の検出、ターン終了の判定、話者の分離、電話網への接続、口の動きを同期させたアバターの駆動、さらには組み込み機器への到達までが対象です。ただし採用の前にライセンスを読んでください。Apache 2.0にAgoraによる追加条件が付いており、モバイル端末を含むエンドユーザー機器上でのホスティングと、Agora自身の提供物と競合する形での配備が禁じられています。
TEN Frameworkで何ができますか?
- 動く音声アシスタントから始める — サンプルのエージェントはDocker Composeでローカル実行できます。最初の音声対話が成立するまでの作業が、統合プロジェクトではなくキーの設定とコンテナ起動で済みます。
- ターンの受け渡しを正しく扱う — 発話区間の検出とターン終了の判定が、後付けではなくエコシステムの独立した構成要素として用意されています。音声エージェントの体感品質は通常ここで決まります。
- 電話を受け、かける — SIPのサンプルがエージェントを電話網に接続します。ブラウザのマイクとは別の問題であり、業務用途で実際に必要とされるのはこちらであることが多い部分です。
- エージェントに顔を与える — 口の動きを同期させたアバターのサンプルがLive2Dのキャラクターを動かします。話者分離やリアルタイム書き起こしのサンプルも個別に用意されています。
- 組み込み機器まで届かせる — ESP32ハードウェア向けの統合ガイドがあります。対象を作業機やブラウザのタブではなく、小さな物理デバイスにできます。
TEN Frameworkを選ぶ前に
- Apacheの許諾に追加条件が付きます。モバイル端末を含むエンドユーザー機器上でのホスティングと、Agoraの提供物と競合する形での配備は認められていません。
- サンプルのエージェントは、モデル・音声認識・音声合成のキーに加えてAgoraのアプリIDと証明書を要求します。最初の起動が、公開部品だけでなく商用アカウントに依存します。
スター推移
8月21日〜10月30日 · +145
11.1k11.2k
よくある質問
TEN Frameworkは商用利用できますか?
TEN FrameworkのライセンスはApache-2.0 with additional conditionsです。OSI承認のオープンソースではなくソース公開型のため、商用利用の前に条項の確認が必要です。
TEN Frameworkはどの形で使えますか?
TEN Frameworkはセルフホストの形で利用できます。