← プロジェクト一覧に戻る

garak
言語モデルを使ったあらゆるものに対する脆弱性スキャナ。プローブが攻撃し、検知器が判定し、レポートが出る
公式Apache-2.0
garakとは
チャットボットやモデルに向けると、プロンプトインジェクション、脱獄、符号化による回避、データ漏洩と再現、有害表現、誤った推論といった攻撃の系統を順に試し、どれが通ってしまったかを報告します。攻撃、判定、対象への接続を別々の部品として保つ設計により、新しいプローブや新しいバックエンドを、他を書き換えずに追加できます。担うのはセキュリティの発見側であって修正側ではありません。出力が示すのは、どのプローブが成功したかであり、それに対してどんな方針を書くべきかではありません。
garakで何ができますか?
- 手元にあるものへそのまま向ける — 既存のチャットボットやモデルを走査すると、見つかった弱点のレポートが得られます。攻撃を設計し、何を失敗とみなすかを決める作業を先に自分で行う必要がありません。
- 攻撃と判定が別部品になっている — プローブが試行を生成し、検知器が成功したかを判定し、ジェネレータが対象との通信を担います。新しい攻撃や新しいモデルバックエンドを既存の仕組みに差し込めます。
- 実際に悪用される分類を覆う — 同梱のプローブ系統には、プロンプトインジェクション、脱獄、符号化による回避、データ漏洩と再現、有害表現の生成、誤った推論が含まれます。実際の事故で現れる失敗の形です。
- 結果を正しく読む — 結果の解釈と走査の評価についてドキュメントが用意されています。敵対的プローブに対する素の通過率は、この分野で特に読み違えやすい数値のためです。
garakを選ぶ前に
- 問題を見つける道具であり、直す道具ではありません。レポートはどのプローブが通ったかを示すもので、防御に変えるにはガードレール層の追加という別の作業が要ります。
- 走査は対象を支えるモデルへ意図的に敵対的な通信を送ります。本番環境へ向ける前に、プロバイダの利用条件と実行にかかる費用の双方を確認しておく価値があります。
スター推移
8月21日〜10月30日 · +906
8.9k9.8k
よくある質問
garakは商用利用できますか?
garakはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
garakはどの形で使えますか?
garakはローカル実行・セルフホストの形で利用できます。