Python 爬虫，分布式爬虫，Scrapy_redis，url去重持久化

r囧r小猫 2022-03-25 14:12 155阅读 0赞

Scrapy\_redis 源码下载：git clone https://github.com/rolando/scrapy-redis.git

安装 Scrapy\_redis 模块： **pip3 install scrapy-redis**

Scrapy\_redis 是一个基于redis的scrapy组件。Scrapy\_redis可以实现 url去重持久化 以及 分布式爬虫。

**项目名/settings.py（配置文件，Scrapy\_redis关键配置）：**

# 。。。
    
    # 指定request对象的去重过滤器
    DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
    SCHEDULER = "scrapy_redis.scheduler.Scheduler"   # 指定scheduler队列 (url调度器队列)
    SCHEDULER_PERSIST = True   # url调度器持久化
    # SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"  # 优先级队列
    # SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"  # 队列
    # SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"  # 栈
    
    ITEM_PIPELINES = {
        'example.pipelines.ExamplePipeline': 300,
        # 'scrapy_redis.pipelines.RedisPipeline': 400,  # 将数据保存到redis的pipeline
    }
    
    REDIS_URL = "redis://127.0.0.1:6379"   # 指定redis的地址
    # 也可以通过如下形式指定redis
    # REDIS_HOST = "127.0.0.1"
    # REDIS_PORT = 6379
    
    
    # 。。。

**持久化到redis中的内容如下：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70][]

**dmoz:requests** ：调度器中的request对象（等待发送的请求） （dmoz是爬虫名）

**dmoz:dupefilter** ：去重url的指纹（爬取后的url）

**dmoz:items** ：爬取出来的数据（需要开启RedisPipeline）

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2hvdXlhbmh1YTE_size_16_color_FFFFFF_t_70]: /images/20220325/d66dedf5be1e441995981a35702a2584.png