← プロジェクト一覧に戻る

GraphRAG
文書群から知識グラフを構築し、コーパス全体に関する問いに答えられるようにする手法の実装
公式MIT
GraphRAGとは
通常の検索は質問に似たチャンクを探すため、答えがどのチャンクにも書かれていない問い、たとえば全体の主題や2人の人物の関係といった問いには答えられません。GraphRAGは各文章から実体・関係・主張を抽出し、できたグラフをコミュニティに分割して要約し、その要約から回答します。代償は索引の構築時に支払われます。すべてのテキスト単位に対して、さらにすべてのコミュニティに対してモデルを走らせるため、構築コストは質問の回数ではなくコーパスの規模に比例します。
GraphRAGで何ができますか?
- どの文章にも書かれていない問いに答える — グローバル検索は取得したチャンクではなくコミュニティの要約から回答します。繰り返し現れる主題や、複数の報告書をまたいで何が変わったかといったコーパス全体の問いに答えられるのはこの仕組みによります。
- 特定の実体から辿る — ローカル検索は指定した実体を起点に、その隣接関係や関連概念を探索します。ある人物・製品・場所についての質問で、最も似た段落ではなく散在する言及を集められます。
- 導出されたグラフを確認できる — 索引の構築結果は、実体・関係・主張というデータとして見られます。誤った回答を、埋め込みの中に消えた原因ではなく、誤った抽出として追跡できます。
- 階層のあらゆる粒度で要約を持つ — Leiden法でグラフをコミュニティに分割し、要約は下位から順に生成されます。1つの索引から、細かい粒度の視点とコーパス全体の視点の両方が得られます。
- 抽出の基準を対象領域に合わせる — 何を実体とみなし何を主張とみなすかを決めるプロンプトは、調整される前提で置かれています。ドキュメントはプロンプト調整を後回しの最適化ではなく初期設定の一部として扱っています。
GraphRAGを選ぶ前に
- 抽出時にすべてのテキスト単位へ、要約時にすべてのコミュニティへモデルを走らせるため、索引構築の費用は質問数ではなくコーパスの規模に比例します。
- ドキュメント自身が、通常の検索では点と点が繋がらない場面向けと位置づけています。中規模のコーパスでの単純な検索なら、従来の検索のほうが安く単純なままです。
スター推移
8月21日〜10月30日 · +884
35.6k36.5k
よくある質問
GraphRAGは商用利用できますか?
GraphRAGはMITライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
GraphRAGはどの形で使えますか?
GraphRAGはセルフホスト・ローカル実行の形で利用できます。