← プロジェクト一覧に戻る

Scrapling
サイト改修を生き延びるスクレイピング。要素を記憶して再発見する適応モードと、速度と偽装の3段階フェッチャーが柱です
BSD-3-Clause
Scraplingとは
仕事ごとにフェッチャーを選びます。速度重視ならTLSフィンガープリントを偽装する素のHTTP、JavaScriptが要るページならPlaywright駆動のブラウザ、検出対策が要る相手ならヘッドレスの痕跡を消しCloudflare Turnstileも突破する強化ブラウザです。要素の選択はCSS・XPath・テキスト・構造的類似など6通りで、適応モードを有効にすると一致した要素の特徴を記録し、改修後のサイトでも同じ呼び出しで再発見します。0.4で加わったスパイダーは、重複排除・ドメイン別の同時実行制限・中断と再開・JSONやCSVへの出力を備えたクロールを担います。MCPサーバー経由ならコーディングエージェントが対話的にスクレイピングでき、ページはセレクタで絞ってからモデルに渡るのでトークンも節約されます。位置づけは1台で動く構造化抽出のライブラリです。サイト全体をMarkdown化するコーパス作りはCrawl4AIの領分で、Turnstile突破の機能とREADME自身の「教育・研究目的」という但し書きは緊張関係にあります。
Scraplingで何ができますか?
- 3つのフェッチャーで、速度と偽装を選ぶ — 素のフェッチャーは既定でブラウザ風のヘッダーを送り、TLSフィンガープリントの偽装とHTTP/3を全速で使えます。動的フェッチャーはPlaywright経由でChromiumを駆動し、実ブラウザへの接続もできます。強化版はヘッドレス検出の痕跡消し、キャンバス指紋のノイズ付与、Turnstileの自動突破まで担い、その分ブラウザ相応のメモリと速度を要します。セッションは状態とタブのプールを維持します。
- 改修後のサイトで要素をもう一度見つける — 適応モードと自動保存を有効にすると、一致した要素のタグ・テキスト・属性・兄弟・祖先の並びがドメイン単位で記録されます。レイアウトが変わっても、同じ呼び出しが類似度で同じ要素を再発見します。記憶されるのはセレクタごとに最初の一致だけ、という制限も明記されています。
- 要素の指定は6通り — テキストや属性の擬似要素つきCSS、XPath、テキスト一致、正規表現、BeautifulSoup風のフィルタ、構造的に似た要素を探すfind_similarが使えます。見つけた要素からセレクタを自動生成できるので、一度の探索がそのまま安定したスクリプトになります。
- 1ページで足りなくなったらスパイダー — Scrapy風の非同期スパイダーが、開始URL群、重複排除つきの優先度キュー、ドメイン別の同時実行制限、robots.txtの尊重オプション、ブロック検知と再試行、チェックポイントによる中断と再開、JSON・JSONL・CSV・XMLへの出力を備えます。プロキシのローテーターとクロールの雛形も付属します。
- スクレイピングを会話でやる — 付属のMCPサーバーは取得・強化取得のツールを一括版も含めて公開し、内容をCSSセレクタで絞ってからモデルへ渡し、隠されたDOMの中身はプロンプトインジェクション対策として無害化します。対話シェルとターミナルの抽出コマンドを使えば、Pythonを書かずにページのMarkdown化もできます。
Scraplingを選ぶ前に
- Turnstileの自動突破まで含む検出回避が製品の核である一方、READMEは用途を教育・研究に限ると述べ、各サイトの規約の尊重を求めています。この両者の整理は導入側に委ねられています。
- APIはまだ固まっていません。0.3で全面的に書き直され、0.4でも互換性が壊れました。コミット履歴も実質1人のものです。
スター推移
8月19日〜10月30日 · +15.3k
75.2k90.5k
よくある質問
Scraplingは商用利用できますか?
ScraplingはBSD-3-Clauseライセンスで公開されています。OSI承認のオープンソースライセンスで、商用利用が認められています。
Scraplingはどの形で使えますか?
Scraplingはローカル実行の形で利用できます。