← プロジェクト一覧に戻る

Weaviate
埋め込み生成を代行し、意味と語句の両方で同時に検索し、テナントを分離するベクトルデータベース
公式BSD-3-Clause
Weaviateとは
素の索引との違いは3点あります。オブジェクトを属性ごと保存するため絞り込みが検索の一部になり、後段のフィルタではなくなること。ベクトライザーモジュールが書き込み時に埋め込みを生成でき、ずれがちな別パイプラインを持たずに済むこと。そしてマルチテナンシーが正式な構成要素で、テナントごとに専用のシャードを持ち、停止状態やオブジェクトストレージへの退避を選べることです。ただし自分で運用するデータベースではあります。1プロセス内に埋め込む索引が欲しいだけなら、必要以上の機構になります。
Weaviateで何ができますか?
- ベクトルだけでなくオブジェクトを保存する — コレクションは共通スキーマの下で、属性とベクトルを持つJSONオブジェクトを保持します。絞り込みに必要なメタデータが別テーブルではなくベクトルと同じ場所にあります。
- 埋め込み生成をデータベースに任せる — ベクトライザーモジュールが書き込み時にオブジェクトをベクトル化するため、データと歩調を合わせ続ける別パイプラインが不要になります。自前のベクトルを渡す方式も引き続き使えます。
- 絞り込んでも結果を失わない — HNSWのベクトル索引と転置索引を組み合わせています。絞り込み付きの近傍検索が「取得してから捨てる」方式に落ちず、高い再現率を保てるのはこの構成によるものです。
- 1つのオブジェクトに複数のベクトルを持たせる — 名前付きベクトルにより、同じオブジェクトが異なるモデル由来の埋め込みを、それぞれ独自の距離尺度・索引設定・圧縮方式とともに保持できます。テキストと画像を別扱いしたい場合に有効です。
- テナントを削除せず休止させる — 各テナントは専用のシャードと索引を持ち、稼働中・休止中・クラウドストレージへ退避済みの状態を行き来します。Weaviateは中規模のクラスタで最大100万の稼働テナントに対応すると説明しています。
Weaviateを選ぶ前に
- 運用・バックアップ・更新の対象となるデータベースプロセスです。1つのアプリケーション内に埋め込む索引が要件なら、ライブラリやファイル型のストアのほうが軽く収まります。
- 埋め込み生成をデータベース側に任せると、モデルがその設定の一部になります。後から別の埋め込みモデルへ移る場合、アプリ側の修正ではなくコレクション全体の再ベクトル化が必要になります。
スター推移
8月21日〜10月30日 · +187
16.7k16.9k
よくある質問
Weaviateは商用利用できますか?
WeaviateはBSD-3-Clauseライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Weaviateはどの形で使えますか?
Weaviateはセルフホスト・マネージドクラウドの形で利用できます。