← プロジェクト一覧に戻る

Firecrawl
サイト全体をモデルが読める整形済みMarkdownに変換
公式AGPL-3.0
Firecrawlとは
JavaScriptをレンダリングし、リンクを辿り、検索コーパスを汚染しがちなナビゲーションや定型部分を除去します。RAGの地味なほうの半分をきちんと解決してくれます。AGPLライセンスのため、サービスとして公開する計画がある場合は条項の確認が必要です。
Firecrawlで何ができますか?
- 任意URLのMarkdown化 —
app.scrape('firecrawl.dev')はページをMarkdownやJSON、スクリーンショットとしてLLM向けに整形して返します。CLIも同じ処理に対応し、READMEにはfirecrawl scrape https://firecrawl.devとfirecrawl https://firecrawl.dev --only-main-contentの2つの書き方が載っています。 - サイト全体の一括取得 —
/v2/crawlにlimitとscrapeOptions.formatsを渡すとジョブIDが返り、statusやcreditsUsed、ページ単位のMarkdownをポーリングで受け取れます(各SDKはポーリングを自動化しています)。 - 検索と本文取得の同時実行 —
app.search("query", limit=5)は検索結果のURLに加えて各ページのMarkdown本文まで返すため、情報源を見つけてから読むまでに追加のリクエストが不要です。 - URL指定なしのデータ収集 —
/v2/agentはプロンプトだけを受け取ってページの探索と巡回を自ら行い、結果と併せて参照したsourcesを返します。Pydanticモデルをschema=に渡せば構造化データになり、込み入った調査にはmodel="spark-1-pro"を指定します。 - MCPクライアントへの接続 —
firecrawl-mcpはnpx経由でMCPサーバーとして起動でき、env欄にFIRECRAWL_API_KEYを置くだけで接続できます。npx -y firecrawl-cli@latest init --all --browserを実行すれば、Claude CodeやOpenCodeにskillとして導入できます。
Firecrawlを選ぶ前に
- クロール先への配慮は、道具ではなく使う側の責任になります。あるサイト運営者から、このクローラを見分けて拒否する手段を求める要望が出ており、現状その手段がないと書かれています。報告#1169
スター推移
8月15日〜10月30日 · +29.3k
168k197k
よくある質問
Firecrawlは商用利用できますか?
FirecrawlはAGPL-3.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Firecrawlはどの形で使えますか?
Firecrawlはセルフホスト・マネージドクラウドの形で利用できます。