Scrapy Scrapy是一个比较好用的Python爬虫框架，你只需要编写几个组件就可以实现网页数据的爬取。但是当我们要爬取的页面非常多的时候，单个主机的处理能力就不能满足我们的需求了（无论是处理速度还是网络请求的并发数），这时候分布式爬虫的优势就显现出来。 而Scrapy-Redis则是一个基于Redis的Scrapy分布式组件。它利用Redis对用于爬取的请求(Requests)进行存储和调度(Schedule)，并对爬取产生的项目(items)存储以供后续处理使用。scrapy-redi重写了scrapy一些比较关键的代码，将scrapy变成一个可以在多个主机上同时运行的分布式爬虫。

所谓的scrapy-Redis实际上就是scrapy+redis，其中对redis的操作采用redis-py客户端。下面这篇文章详细介绍了Scrapy-redis爬虫分布式爬取的分析和实现，需要的朋友可以参考借鉴，下面来一起看看吧。

只需将该项目放到不同的机器，简单配置一下redis /mysql 就可以运行，实现分布式抓取数据，需配置相同的环境scrapy/scrapy-redis/itemadapter/redis/mysql

使用scrapy-redis开发，可以使用分布式爬取，也可以单击运行，能对爬取过的文章和章节进行去重，加快采集速度

scrapy_redis-0.6.8-py2.py3-none-any.whl 使用方式 pip install xx.whl 即可