← プロジェクト一覧に戻る

NeMo Guardrails
LLMアプリケーションの周囲に、入力・検索・対話・ツール呼び出し・出力の5点で介入する制御層を置く
公式Apache-2.0
NeMo Guardrailsとは
多くのガードレール製品は1か所で1つのことを検査します。こちらは介入点を5つ定義します。モデルが要求を見る前、検索が取り込んだ内容、会話の流れ、ツール呼び出しの周囲、そして応答が利用者に届く前です。アプリケーションとモデルの間に位置するため、既に稼働中のシステムに、どちら側も変えずに後付けできます。代償はレイテンシと語彙です。強力な制御のいくつかはそれ自体がモデル呼び出しであり、対話の規則はColangという専用言語で記述します。
NeMo Guardrailsで何ができますか?
- 1か所ではなく5か所で検査する — 入力の制御はモデルが要求を見る前に、検索の制御はRAGが取り込んだ内容に、対話の制御は会話の流れに、実行の制御はツール呼び出しの周囲に、出力の制御は応答を返す前に働きます。
- アプリにもモデルにも触れずに追加する — アプリケーションとLLMの間に位置するため、既に動いているシステムへ後付けできます。ガードレールを中心にアプリを作り直す必要がありません。
- ライブラリとしてもサービスとしても配置する — Python SDKで直接組み込むほか、FastAPIサーバーがOpenAI互換のチャット補完エンドポイントを提供するため、どの言語のクライアントもその背後に置けます。LangChainとLangGraphは標準対応です。
- 方針を宣言的に書く — Colangが会話の流れとガードレールの論理を、YAML設定と併せて表現します。方針が特定のアプリに埋め込まれたコードではなく、配備先を移せる再利用可能な成果物になります。
- 内蔵の検査と外部の検査を組み合わせる — アプリ自身のモデルによる自己検査や、経験則とNVIDIAの保護モデルを使う脱獄検知に加え、LlamaGuard、Presidio、ActiveFence、Cisco AI Defense、複数の個人情報検出器との接続が用意されています。
NeMo Guardrailsを選ぶ前に
- 強力な制御のいくつかは、毎ターン実行されるモデル呼び出しそのものです。守る対象の通信に、レイテンシとリクエストごとの費用が上乗せされます。
- 対話の規則は専用言語のColangで記述します。方針を配備先間で移しやすくなる一方、チームが習得し保守する対象が1つ増えます。
スター推移
8月21日〜10月30日 · +410
7k7.4k
よくある質問
NeMo Guardrailsは商用利用できますか?
NeMo GuardrailsはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
NeMo Guardrailsはどの形で使えますか?
NeMo Guardrailsはセルフホスト・ローカル実行の形で利用できます。