它叫Scrapy，可以从任何网站爬取并提取结构化数据，完全在你自己的机器上运行。
无需SaaS爬虫账单。无云API限制。数据不离开你的基础设施。
由Python最经战考验的爬虫引擎提供动力，拥有59K星标和15+年生产使用记录。
→ 定义一次spider
→ 获得清洁结构化数据
→ 扩展到数百万页面
→ 即时导出为JSON、CSV、XML
全部本地运行。零云依赖。
但它不仅仅是爬虫脚本。
它是完整的数据提取框架：
→ 异步架构用于大规模并行爬取
→ 代理、重试、限速的内置中间件
→ CSS和XPath选择器，零样板代码
→ 可插拔管道用于清理、去重和存储
→ 54,800+生产项目已依赖它
100%开源。BSD-3许可证。
现在支持macOS、Windows和Linux。
网页爬虫从SaaS订阅变为按你的方式运行的时刻到了。
链接在首条评论 👇
互联网充电站
