分布式scrapy_redis源码总结，及其架构

Dear 丶 2022-04-24 14:14 127阅读 0赞

分布式scrapy的组件源码介绍完了，大致总结一下，相关组件目录如下：

《[RedisSpider的调度队列实现过程及其源码][RedisSpider]》

《[scrapy中scrapy\_redis分布式内置pipeline源码及其工作原理][scrapy_scrapy_redis_pipeline]》

《[scrapy分布式调度源码及其实现过程][scrapy]》

《[scrapy分布式Spider源码分析及实现过程][scrapy_Spider]》

《[scrapy分布式去重组件源码及其实现过程][scrapy 1]》

《[scrapy\_redis中序列化源码及其在程序设计中的应用][scrapy_redis]》

《[scrapy\_redis分布式组件Connection源码解读及工作原理][scrapy_redis_Connection]》

**其架构如图：**

![2019-03-19-23\_06\_13.png][2019-03-19-23_06_13.png]

**在对比scrapy架构：**

![2019-03-19-23\_06\_13.png][2019-03-19-23_06_13.png]

在架构上scrapy\_redis比scrapy多了一个中介Redis，正是通过Redis实现的去重和数据储存，同时scrapy\_redis实现了四个组件的重写，Scheduler（调度）、Duplication Filter（去重）、 Item Pipeline（数据管道）、Base Spider（爬虫基类）

**分布式爬虫运行机制如下：**

*  要求运行在不同机器上的源码一致，尤其是Redis的配置，相同的Redis才能实现共同去重和分布式爬虫之间的通信，同时相应的在配置文件setting.py中启用scrapy\_Rediszi自定义实现的组件

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"
    SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"

至于pipeline在需要使用Redis储存数据的情况下也可以启用

*  Spider开始运行，构造Request对象，然后根据Request对象的URL及其其他headers信息对Request去重
 *  去重后的Request，会被调度序列化后放入Redis实现的队列或者堆栈或者优先级队列中
 *  适当时候会取出Request交给下载器，然后开始下载，下载完的resposne对象会交给Spider解析，从而继续上一个流程。
 *

[RedisSpider]: http://mp.weixin.qq.com/s?__biz=MzI2OTQ1NzEyMQ==&mid=2247484198&idx=1&sn=70445a891dc3210dc87980277f0e9209&chksm=eae140a8dd96c9becd178bda459328a15867dc892b435c4249efb38a478b0c35c289194d668f&scene=21#wechat_redirect
[scrapy_scrapy_redis_pipeline]: http://mp.weixin.qq.com/s?__biz=MzI2OTQ1NzEyMQ==&mid=2247484203&idx=1&sn=99ee3fda8fa8a2694b8347b578587dbd&chksm=eae140a5dd96c9b313535572568026bb7a56bc70771befb5e4902055f115d07307a7de25671c&scene=21#wechat_redirect
[scrapy]: http://mp.weixin.qq.com/s?__biz=MzI2OTQ1NzEyMQ==&mid=2247484209&idx=1&sn=6d7e9cd007340f99d8a758a6d5852059&chksm=eae140bfdd96c9a92b6e51160f22158592489522dba133acf513174348e152cf5d571e2fb1c3&scene=21#wechat_redirect
[scrapy_Spider]: http://mp.weixin.qq.com/s?__biz=MzI2OTQ1NzEyMQ==&mid=2247484214&idx=1&sn=e4f437600ff9d0b1fbcf30b9e11d0412&chksm=eae140b8dd96c9ae0450c7038b833f2c1ee9447900808e6da45a20b53db9b86d34be407b9f3c&scene=21#wechat_redirect
[scrapy 1]: http://mp.weixin.qq.com/s?__biz=MzI2OTQ1NzEyMQ==&mid=2247484219&idx=1&sn=0c1bd2f3fdccde899f740ba977fa79af&chksm=eae140b5dd96c9a3df05cd00a234eeec4fd831ca40e0440c4a4420b6b1962b095bd54a9c0a25&scene=21#wechat_redirect
[scrapy_redis]: http://mp.weixin.qq.com/s?__biz=MzI2OTQ1NzEyMQ==&mid=2247484229&idx=1&sn=1c1f00b67d7f515e920c84bb15037b66&chksm=eae140cbdd96c9dd5da2bd97f90e64f169db4052592e44975ff0d930a9b762aef765217ad8be&scene=21#wechat_redirect
[scrapy_redis_Connection]: http://mp.weixin.qq.com/s?__biz=MzI2OTQ1NzEyMQ==&mid=2247484234&idx=1&sn=eb42617b03ca64370364708b302f036d&chksm=eae140c4dd96c9d22ffffedd6d0898aa3324880edc33f938de15e1ee108368ccca9e42b1db15&scene=21#wechat_redirect
[2019-03-19-23_06_13.png]: http://mzzd.xyz/static/wxfile/image/2019-03-19-23_06_13.png