← プロジェクト一覧に戻る

pgvector
Postgresの拡張としてのベクトル検索。埋め込みを、他のデータと同じデータベースに置ける
公式PostgreSQL License
pgvectorとは
ベクトルが列の型になり、そこから先はPostgresがすでにできることがそのまま使えます。近傍検索はORDER BYとLIMIT、絞り込みは同じプランナが評価するWHERE句、埋め込みとその元になる行は1つのトランザクションで書かれ、既存のバックアップ・レプリカ・ロールがベクトルにも適用されます。引き換えに手放すのは、専用エンジンが備える運用機構です。コレクションのシャーディングやテナント分離はここにはなく、索引の構築は同じマシン上で他の処理と資源を奪い合います。
pgvectorで何ができますか?
- 普通のデータと同じように絞り込み、結合する — ベクトルが列であるため、WHERE句も他テーブルとの結合も集計もそのまま動きます。埋め込みは、対応する行と同じトランザクションでコミットされます。
- 欲しいトレードオフに合わせて索引を選ぶ — HNSWは速度と再現率の両立に優れる一方、構築が遅くメモリも多く使います。IVFFlatは構築が速く軽い代わりに検索性能で劣り、学習のためデータが存在してから作成する必要があります。
- 精度が制約でない場面ではベクトルを縮める — 半精度のベクトルは1要素あたりのバイト数が半分になり、2値ベクトルはハミング距離とジャッカード距離に対応し、疎ベクトル用の型は疎な埋め込みを小さく保持します。いずれも16000次元まで扱えます。
- 6種類の距離尺度が演算子として使える — L2、内積、コサイン、L1、ハミング、ジャッカードが演算子として用意されています。尺度の選択が、ストア作成時に固定される属性ではなくクエリの一部になります。
- 既存の運用をそのまま引き継ぐ — ACID特性、既存のダンプとリストアの手順、レプリケーション、ロールによるアクセス制御が、ベクトルデータにもそのまま及びます。別途守り、監視し、バックアップすべきシステムが増えません。
pgvectorを選ぶ前に
- ベクトルは他のデータと同じインスタンスを共有します。索引の構築や検索が、トランザクション処理と同じメモリとCPUを奪い合い、分離されません。
- 専用のベクトルエンジンが標準で備える機能、たとえばコレクションのノード分割やテナント単位の分離は、ここではPostgres側の課題になります。Postgresの道具で解くか、諦めるかです。
スター推移
8月21日〜10月30日 · +844
22.7k23.5k
よくある質問
pgvectorは商用利用できますか?
pgvectorはPostgreSQL Licenseライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
pgvectorはどの形で使えますか?
pgvectorはセルフホスト・ローカル実行の形で利用できます。