← プロジェクト一覧に戻る

Crawl4AI
モデル向け出力を生成する非同期Pythonクローラ
公式Apache-2.0
Crawl4AIとは
ホスティング型クローラと同じ役割を、寛容なライセンスのセルフホストで果たします。抽出戦略をサイトごとに定義できます。サービスではなくライブラリであるため、プロキシの扱いやレート制限は自分で設計・管理することになります。
Crawl4AIで何ができますか?
- ページをMarkdownで取得する — AsyncWebCrawler.arun()の戻り値からresult.markdownを得られ、DefaultMarkdownGeneratorにPruningContentFilterやBM25ContentFilterを渡せばノイズを除いたfit_markdownも同時に得られます。
- CLIだけで深い探索まで行う — crwlコマンドは-o markdownで単一ページ、--deep-crawl bfs --max-pages 10でサイト内探索、-qで質問に沿ったLLM抽出を実行でき、Pythonを書く必要がありません。
- LLMなしで構造化JSONを抜く — JsonCssExtractionStrategyにbaseSelectorとCSS/XPathのfieldsからなるスキーマを渡せば構造化された行を取得でき、セレクタで届かない場合はPydanticスキーマを使うLLMExtractionStrategyに切り替えます。
- HTTPサービスとして立てる — unclecode/crawl4aiのDockerイメージをポート11235で起動するとFastAPIの/crawlエンドポイント、playground、監視ダッシュボード、MCP連携が使え、v0.9.0以降は認証が既定で有効です。
- ログイン済みブラウザを使い回す — BrowserConfigにuser_data_dirとuse_persistent_context=Trueを指定すればCookieと認証状態を実行間で保持でき、js_code、hooks、プロキシ設定で操作が必要なページにも対応します。
Crawl4AIを選ぶ前に
- HTTPサーバは、ライブラリに通信用の窓口を付けただけのものではありません。サーバ経由では使えない機能が12領域あると報告されています。サーバを選ぶ前に、必要な方法がHTTP経由で使えるか確認してください。報告#1452
スター推移
8月15日〜10月30日 · +8.4k
78.2k86.6k
よくある質問
Crawl4AIは商用利用できますか?
Crawl4AIはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Crawl4AIはどの形で使えますか?
Crawl4AIはセルフホスト・ローカル実行の形で利用できます。