← プロジェクト一覧に戻る

Ragas
検索を使う仕組みを、必要な文書を引けたかと、答えがその文書の中に収まっているかの2点で採点する
Apache-2.0
Ragasとは
検索を使う仕組みで最も多い失敗は、外から見えません。答えは読みやすいのに、引いてきた文書のどこにも根拠がない、という状態です。Ragasはそれを直接測ります。処理を2つに分け、必要な内容を含む文書を引けていたか、生成された答えがその範囲に収まっているかを別々に採点します。手持ちの文書から試験用のデータを作ることもできるため、最初の評価のために質問を100件手書きするところから始めずに済みます。ほとんどの指標自体がモデルの呼び出しである点は、あらかじめ織り込んでおくべきです。一通り走らせれば費用がかかり、同じデータで2回実行しても数値は完全には一致しません。
Ragasで何ができますか?
- 検索の失敗と生成の失敗を切り分ける — 検索と回答を別々に採点するため、直すべきなのが索引なのかプロンプトなのかが分かります。両方を当てずっぽうで触らずに済みます。
- 根拠のない答えを見つける — 忠実度の指標が、回答に含まれる各主張を実際に引いてきた文書と突き合わせます。読み心地は良いのに根拠がない、という失敗がこれで見えます。
- 生成した試験データから始める — 手持ちの文書から質問を作れるため、誰かが試験項目を手書きする前に最初の評価を実施できます。
- 数値にならないものを判定する — この返答は失礼ではないか、医療上の助言をしていないか、といった文章で書いた基準をモデルが合否判定し、時系列で追えます。
- 回答だけでなくツールの使い方も採点する — エージェント向けの指標では、適切なツールを呼べたか、依頼された内容を達成できたかを見ます。最後の文章だけを見るわけではありません。
Ragasを選ぶ前に
- 多くの指標はモデルの呼び出しです。評価の実行には費用がかかり、同じ入力を2回採点しても数値は一致しません。小さな改善を比較する場面では効いてきます。
- リポジトリは2026年初頭以降ほとんど更新されておらず、所有者も移っています。リリース手順の評価関門として採用する前に、保守の状況を確認してください。
スター推移
8月27日〜10月30日 · +698
15.5k16.2k
よくある質問
Ragasは商用利用できますか?
RagasはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Ragasはどの形で使えますか?
Ragasはローカル実行・セルフホストの形で利用できます。