← プロジェクト一覧に戻る

Crawl4AI

モデル向け出力を生成する非同期Pythonクローラ

公式Apache-2.0
スター
86.6k
フォーク
9k
オープンIssue
300
最終コミット
2026年10月30日

Crawl4AIとは

ホスティング型クローラと同じ役割を、寛容なライセンスのセルフホストで果たします。抽出戦略をサイトごとに定義できます。サービスではなくライブラリであるため、プロキシの扱いやレート制限は自分で設計・管理することになります。

Crawl4AIで何ができますか?

  • ページをMarkdownで取得する — AsyncWebCrawler.arun()の戻り値からresult.markdownを得られ、DefaultMarkdownGeneratorにPruningContentFilterやBM25ContentFilterを渡せばノイズを除いたfit_markdownも同時に得られます。
  • CLIだけで深い探索まで行う — crwlコマンドは-o markdownで単一ページ、--deep-crawl bfs --max-pages 10でサイト内探索、-qで質問に沿ったLLM抽出を実行でき、Pythonを書く必要がありません。
  • LLMなしで構造化JSONを抜く — JsonCssExtractionStrategyにbaseSelectorとCSS/XPathのfieldsからなるスキーマを渡せば構造化された行を取得でき、セレクタで届かない場合はPydanticスキーマを使うLLMExtractionStrategyに切り替えます。
  • HTTPサービスとして立てる — unclecode/crawl4aiのDockerイメージをポート11235で起動するとFastAPIの/crawlエンドポイント、playground、監視ダッシュボード、MCP連携が使え、v0.9.0以降は認証が既定で有効です。
  • ログイン済みブラウザを使い回す — BrowserConfigにuser_data_dirとuse_persistent_context=Trueを指定すればCookieと認証状態を実行間で保持でき、js_code、hooks、プロキシ設定で操作が必要なページにも対応します。

Crawl4AIを選ぶ前に

  • HTTPサーバは、ライブラリに通信用の窓口を付けただけのものではありません。サーバ経由では使えない機能が12領域あると報告されています。サーバを選ぶ前に、必要な方法がHTTP経由で使えるか確認してください。報告#1452

スター推移

8月15日〜10月30日 · +8.4k

78.2k86.6k

よくある質問

Crawl4AIは商用利用できますか?

Crawl4AIはApache-2.0ライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。

Crawl4AIはどの形で使えますか?

Crawl4AIはセルフホスト・ローカル実行の形で利用できます。