由于Scrapy本身是不支持分布式的，故引入Scrapy-redis组件，Scrapy-redis替换掉Scrapy的调度器，从而把rquests放入redis队列，将Scrapy从单台机器扩展到多台机器，实现较大规模的爬虫集群。

Scrapy-Redis

Scrapy的Redis组件.

文档: .

特点

• 分布式抓取
  你可以启动多个蜘蛛实例共享一个单一的redis队列。最适合广泛的多域抓取。
• 分布式处理
  把项目被推到一个redis排队意味着你可以开始需要处理多进程共享的项目队列。
• Scrapy即插即用的组件
  调度程序+复制过滤器，项目管道，基蜘蛛。

要求

• Python2.7，3.4 or 3.5
• Redis >= 2.8
• Scrapy >=1.1
• redis-py >= 2.10

用法

在你的项目使用以下设置

# 允许在redis中存储请求队列.SCHEDULER = "scrapy_redis.scheduler.Scheduler"# 确保所有的蜘蛛通过redis共享相同的重复过滤器.DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"#警告：在Python 3 x中，序列化程序必须返回字符串键和支持。#字节作为值。因为这个原因，JSON或msgpack模块不拖欠工作。#在Python 2中，没有这样的问题，您可以使用“json”或“msgpack的序列化程序。#SCHEDULER_SERIALIZER = "scrapy_redis.picklecompat"# 不要清理Redis队列，允许暂停/恢复爬行.#SCHEDULER_PERSIST = True# 使用优先队列调度请求。(默认)#SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'# 选择队列#SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.FifoQueue'#SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.LifoQueue'#马克斯空闲时间防止蜘蛛在分布式爬行时被关闭。#这仅在队列类是spiderqueue或spiderstack，#也可能在第一次启动蜘蛛时（因为队列是空的）阻塞相同的时间。#SCHEDULER_IDLE_BEFORE_CLOSE = 10# 在redis中存储被刮过的项目，用于后期处理ITEM_PIPELINES = {    'scrapy_redis.pipelines.RedisPipeline': 300}# 项目管道序列化并将项目存储在这个红色的关键字中.#REDIS_ITEMS_KEY = '%(spider)s:items'#该项目是默认的序列化程序ScrapyJSONEncoder 你可以用任何一个可调用对象的重要路径#REDIS_ITEMS_SERIALIZER = 'json.dumps'# 在连接到Redis时指定要使用的主机和端口(可选#REDIS_HOST = 'localhost'#REDIS_PORT = 6379# 为连接指定完整的Redis URL(可选).#如果设置，这将优先于REDIS主机和REDIS端口设置。#REDIS_URL = 'redis://user:pass@hostname:9001'# 定制的redis客户端参数(例如:套接字超时等。)#REDIS_PARAMS  = {}# 使用定制的redis客户端类.#REDIS_PARAMS['redis_cls'] = 'myproject.RedisClient'#如果是真的，它使用redis的` ` SPOP ` `操作。你必须使用` ` Sadd ` `#命令添加URL到redis队列。如果你有这个可能有用#要避免重复在您的起始URL列表和顺序处理无所谓。#REDIS_START_URLS_AS_SET = False# 用于redis蛛和re椎间盘爬行器的默认启动url键#REDIS_START_URLS_KEY = '%(name)s:start_urls'#为redis使用其他编码，而不是使用utf-8#REDIS_ENCODING = 'latin1'

注意：

3.0版本修改了从编组到cPickle的请求序列化，因此，使用版本2.0的请求无法使用3.0

运行示例项目

这个例子说明了如何在多个爬虫实例之间共享一个爬虫请求队列，这非常适合广泛的爬虫。

类RedisSpider。redis爬虫能够从redis读取url。redis队列中的url将依次处理，如果第一个请求产生更多请求，那么爬虫处理这些请求，然后从redis获取另一个url。

例如，创建一个文件myspider。下面的代码

from scrapy_redis.spiders import RedisSpiderclass MySpider(RedisSpider):    name = 'myspider'    def parse(self, response):        # do stuff        pass

然后，

1.运行爬虫：

scrapy runspider myspider.py

2.把url放进redis

redis-cli lpush myspider:start_urls http://google.com

注意：

这些爬虫依赖于爬虫的空闲信号来获取开始的url，因此在您推送一个新的url且爬虫开始爬行时，它可能会有几秒钟的延迟