GitHub 雷达
首次出现 102 天前
D4Vinci/Scrapling
Scrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
近 7 日
+2,105
累计 Star
82.6k
Fork
8,417
近 30 日
+7,083
Star 趋势 · 58 个采集点
+26%6 月 23 日9 月 21 日
语言Python
分类工具/CLI
最近提交9 月 20 日
创建时间10 月 14 日
首次收录6 月 23 日 · 自动扫描
README 摘要
Scrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
中文摘要由 AI 生成,仅供参考。
返回 GitHub 雷达在 GitHub 打开
D4Vinci/Scrapling
102 天前首次出现未被群岛收录Scrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
Python创建于 2024 年 10 月最近提交 2026 年 9 月
累计 Star
82.6k
近 7 日新增
+2,105
近 30 日新增
+7,083
Fork
8,417
Star 趋势
共 58 个采集点 · 近 30 日 +7,0832026-06-232026-09-20
项目介绍
由 AI 摘自仓库 READMEScrapling 是一个自适应网页抓取框架,能够处理从单个请求到大规模爬取的所有任务,并自动适应网站结构变化以重新定位元素。 主要技术栈基于 Python,提供多种抓取器(如 StealthyFetcher)绕过反爬系统,并支持异步并发、会话管理、自动代理轮换和命令行工具。 其亮点在于解析器能自动学习网站更新并重定位元素,内置绕过 Cloudflare Turnstile 等反爬机制,适合需要稳定、大规模数据采集且应对网站频繁变更的场景。
仓库信息
Topics
#ai#ai-scraping#automation#crawler#crawling#crawling-python#data#data-extraction#mcp#mcp-server#playwright#python
来自雷达
该项目由雷达自动扫描 GitHub 发现,含 Star 增速、提交活跃度与分类标签,中文摘要由 AI 生成。