GitHub 雷达
首次出现 102 天前

D4Vinci/Scrapling

Scrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。

近 7 日
+2,105
累计 Star
82.6k
Fork
8,417
近 30 日
+7,083
Star 趋势 · 58 个采集点
+26%
6 月 23 日9 月 21 日
语言Python
分类工具/CLI
最近提交9 月 20 日
创建时间10 月 14 日
首次收录6 月 23 日 · 自动扫描
README 摘要
Scrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
中文摘要由 AI 生成,仅供参考。
在 GitHub 打开