← プロジェクト一覧に戻る

Ragas

検索を使う仕組みを、必要な文書を引けたかと、答えがその文書の中に収まっているかの2点で採点する

Apache-2.0
スター
16.2k
フォーク
1.8k
オープンIssue
642
最終コミット
2026年2月24日

Ragasとは

検索を使う仕組みで最も多い失敗は、外から見えません。答えは読みやすいのに、引いてきた文書のどこにも根拠がない、という状態です。Ragasはそれを直接測ります。処理を2つに分け、必要な内容を含む文書を引けていたか、生成された答えがその範囲に収まっているかを別々に採点します。手持ちの文書から試験用のデータを作ることもできるため、最初の評価のために質問を100件手書きするところから始めずに済みます。ほとんどの指標自体がモデルの呼び出しである点は、あらかじめ織り込んでおくべきです。一通り走らせれば費用がかかり、同じデータで2回実行しても数値は完全には一致しません。

Ragasで何ができますか?

  • 検索の失敗と生成の失敗を切り分ける — 検索と回答を別々に採点するため、直すべきなのが索引なのかプロンプトなのかが分かります。両方を当てずっぽうで触らずに済みます。
  • 根拠のない答えを見つける — 忠実度の指標が、回答に含まれる各主張を実際に引いてきた文書と突き合わせます。読み心地は良いのに根拠がない、という失敗がこれで見えます。
  • 生成した試験データから始める — 手持ちの文書から質問を作れるため、誰かが試験項目を手書きする前に最初の評価を実施できます。
  • 数値にならないものを判定する — この返答は失礼ではないか、医療上の助言をしていないか、といった文章で書いた基準をモデルが合否判定し、時系列で追えます。
  • 回答だけでなくツールの使い方も採点する — エージェント向けの指標では、適切なツールを呼べたか、依頼された内容を達成できたかを見ます。最後の文章だけを見るわけではありません。

Ragasを選ぶ前に

  • 多くの指標はモデルの呼び出しです。評価の実行には費用がかかり、同じ入力を2回採点しても数値は一致しません。小さな改善を比較する場面では効いてきます。
  • リポジトリは2026年初頭以降ほとんど更新されておらず、所有者も移っています。リリース手順の評価関門として採用する前に、保守の状況を確認してください。

スター推移

8月27日〜10月30日 · +698

15.5k16.2k

よくある質問

Ragasは商用利用できますか?

RagasはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。

Ragasはどの形で使えますか?

Ragasはローカル実行・セルフホストの形で利用できます。