scrapy

Scrapy 是一个用于大规模网络爬取的 Python 框架。与解析单个页面的 BeautifulSoup 不同，Scrapy 管理完整的爬取流程：跟踪链接、处理分页、管理请求队列以及导出数据。当爬取需要从整个站点的许多页面收集数据时，就会使用它。