← プロジェクト一覧に戻る

Giskard
自分のエージェントに敵対的な入力を仕掛け、拒否すべきだったのに答えてしまったものを報告する
Apache-2.0
Giskardとは
評価で分かるのは、自分が思いついた質問に対する出来です。安全性についてはそれでは形が合いません。問題になるのは、思いつかなかった質問のほうだからです。Giskardはそこを反転させます。スキャンが敵対的な入力を自ら生成し、拒否すべきだったのに答えてしまったものを報告するため、試験項目は想像力ではなくツールが用意します。あわせて、検索を使う仕組みが静かに壊れていく典型的な形を調べるスキャンと、期待する振る舞いを通常のテストとして書き、pytestで合否を出す仕組みがあります。一度気になった確認事項を、変更のたびに走る確認に変えられます。開発元は、指摘ゼロが安全性や法令遵守の保証ではないと明記しています。
Giskardで何ができますか?
- 敵対的な入力はツールに書かせる — 攻撃側の入力をスキャンが生成します。自分では思いつかなかった事例を覆う方法は、これ以外にありません。
- 検索が静かに失敗している箇所を見つける — 文書に基づいて答える仕組みが、間違って見えないまま間違う典型的な形を専用のスキャンが調べます。通常の正答率では表に出ません。
- 見つけた問題をテストとして残す — 期待する振る舞いをシナリオと判定として書き、pytestで実行します。一度直したことが、変更のたびに再確認されます。
- 既存のテスト環境の中で回す — 基盤ではなくPythonのライブラリなので、先にサービスを立ち上げなくても既存の自動実行の流れに組み込めます。
Giskardを選ぶ前に
- スキャン結果は安全性や法令遵守の保証ではないと開発元が明記しています。見つかるのは問題の一部であり、指摘がないことは問題がないことの根拠になりません。
- オープンなライブラリが担うのはスキャンとテストまでです。継続的な攻撃テスト、データ管理、定期実行は同社の別のホスティング型製品に含まれます。
スター推移
8月29日〜10月30日 · +145
5.8k5.9k
よくある質問
Giskardは商用利用できますか?
GiskardはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Giskardはどの形で使えますか?
Giskardはローカル実行・セルフホストの形で利用できます。