← プロジェクト一覧に戻る
PageIndex
ベクトル検索を使わないRAG。文書の目次にあたる木構造を作り、モデルにそこをたどらせて該当箇所へ行き着かせる
MIT
PageIndexとは
ベクトル検索が見つけるのは質問に似た文章ですが、似ていることと関係があることは別です。長い規制文書では、答えにあたる段落が質問とほとんど語彙を共有していないことがよくあります。PageIndexはベクトルの保存先を使いません。文書の実際の構造を節ごとに木として組み立て、人が目次を使うのと同じ手順でモデルにそこをたどらせます。範囲を絞り、答えがありそうな箇所を開き、読む、という流れです。文章を機械的に分割することはなく、答えは必ずどの節から来たかを示します。引き換えは1問あたりの費用です。検索が参照ではなく推論になるためで、想定されているのは短い文書を大量に持つ状況ではなく、長い個別の文書です。
PageIndexで何ができますか?
- 類似ではなく推論で引き当てる — どの節に答えがあるはずかをモデルが判断して開くため、質問と違う言い回しで答えている箇所も見つかります。
- 機械的な分割ではなく本来の節を単位にする — 検索の単位が文書の実際の節なので、定義とそれに依存する条文が別々の断片に切り離されることがありません。
- 答えの出所を示す — 結果には必ず、木構造のどの部分から読んだかが付きます。確かめられる答えと、信じるしかない答えの違いはここにあります。
- ベクトルデータベースを持たない — 索引を作る、埋め込む、調整する、同期を保つという作業がありません。文書を渡すと、保存されるのは木構造です。
- 構造が明快な文書は数秒で取り込む — 目次のはっきりした資料向けに、モデルに推測させず文書そのものから構造を抽出する高速な方式が用意されています。
- 手元でもホスティング型でも動かす — 同じクライアントで、自分のモデルの鍵を使って手元で索引と検索を行うことも、コードを変えずに開発元のクラウドに向けることもできます。
PageIndexを選ぶ前に
- 検索そのものがモデルの呼び出しを伴うため、1問あたりの時間と費用はベクトル検索より大きくなります。安い問い合わせを大量に捌く用途では計算が変わります。
- 想定されているのは長く構造の整った専門文書です。短く構造のないページの集合ではたどるべき木がほとんどなく、開発元が挙げる高い正答率も金融文書のベンチマークによるものです。
スター推移
8月27日〜10月30日 · +4.6k
35.3k39.9k
よくある質問
PageIndexは商用利用できますか?
PageIndexはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
PageIndexはどの形で使えますか?
PageIndexはローカル実行・セルフホスト・マネージドクラウドの形で利用できます。