← プロジェクト一覧に戻る

Faiss
各種ベクトルDBの土台にある類似検索ライブラリ。製品ではなくアルゴリズムそのもの
公式MIT
Faissとは
中心にあるのは、ベクトル集合を保持して検索する索引です。索引構造が何十種類も存在するのは、トレードオフが実在するからです。検索時間、結果の質、1ベクトルあたりのメモリ、構築にかかる時間、そして学習用データが必要かどうかが互いに競合します。一部の方式は圧縮表現だけを保持し元のベクトルを持たないため、1台のサーバーで数十億件規模に届きます。サーバー機能、絞り込み、アクセス制御はここにはありません。それらは、この上に築かれたデータベースが足している部分です。
Faissで何ができますか?
- トレードオフを意識して選ぶ — 索引構造は、検索時間、検索品質、1ベクトルあたりのメモリ、学習時間、そもそも教師なし学習用データが要るかどうかで異なります。近似の良し悪しを測る基準として、厳密検索も用意されています。
- 保存しきれない量のベクトルを検索する — 2値ベクトルや小さな量子化コードは圧縮表現を検索し、元のベクトルを保持しません。1台のサーバーの主記憶に数十億件を載せられるのはこの方式によるもので、精度を犠牲にすると明記されています。
- クラス名を変えるだけでGPUへ移す — GPU用の索引はCPU版と直接置き換えられます。ホストとデバイス間のメモリ転送は自動で処理され、単一GPUでも複数GPUでも動作します。
- 検索だけでなくクラスタリングも — k-means法と、評価やパラメータ調整のための補助コードが同梱されています。索引の設定選びを、勘ではなく計測で決められます。
- PythonからでもC++からでも使う — 実装はC++で、PythonとnumPy向けの完全なラッパーがあります。CPU版、GPU版、cuVSを使う版のビルド済みパッケージが提供され、必須の依存はBLAS実装だけです。
Faissを選ぶ前に
- データベースではなくライブラリです。サーバー機能、メタデータによる絞り込み、アクセス制御はなく、永続化も索引のファイル書き出しに留まります。運用面はすべて自作か、データベースからの借用になります。
- どの索引を使うかに既定の答えはありません。文書化されたトレードオフゆえに、自分のベクトルで構成を評価する作業が、後回しの最適化ではなく導入作業の一部になります。
スター推移
8月21日〜10月30日 · +448
40.8k41.2k
よくある質問
Faissは商用利用できますか?
FaissはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Faissはどの形で使えますか?
Faissはセルフホスト・ローカル実行の形で利用できます。