Scrapy入门到放弃04：下载器中间件，让爬虫更完美

心已赠人 2023-10-11 15:58 39阅读 0赞

### 前言 ###

MiddleWare，顾名思义，中间件。主要处理请求（例如添加代理IP、添加请求头等）和处理响应

本篇文章主要讲述下载器中间件的概念，以及如何使用中间件和自定义中间件。

### MiddleWare分类 ###

依旧是那张熟悉的架构图。

![Scrapy架构][Scrapy]

从图中看，中间件主要分为两类：

1.  Downloader MiddleWare：下载器中间件
2.  Spider MiddleWare：Spider中间件

本篇文主要介绍下载器中间件，先看官方的定义：

> 下载器中间件是介于Scrapy的request/response处理的钩子框架。 是用于全局修改Scrapy request和response的一个轻量、底层的系统。

### 作用 ###

如架构图中所描述的一样，**下载器中间件位于engine和下载器之间。engine将未处理的请求发送给下载器的时候，会经过下载器中间件，这时候在中间件里可以包装请求**，例如修改请求头信息(设置UA、cookie等)和添加代理IP。

当下载器将网站的响应发送给engine的时候，也会经过下载器中间件，这里我们就可以对响应内容进行处理。

### 内置下载器中间件 ###

Scrapy内置了很多下载器中间件供开发者使用。当我们启动一个Scrapy爬虫时，Scrapy会自动帮助我们启用这些中间件。如图：

![内置中间件][459f897ee9604d56a643cf89ac280655.jpg]

图中就是在启动Scrapy程序时控制台打印的日志信息，我们发现Scrapy帮我们启用了很多下载器中间件和Spider中间件。

*这里，先看看这些内置的中间件是如何发挥作用的？*

#### RetryMiddleware ####

其实，这些内置中间件是和settings中的配置配套使用的。这里就拿RetryMiddleware为例。它的作用主要是：当请求失败时，可以根据**RETRY\_ENABLED**和**RETRY\_TIMES**配置来启用重试策略以及决定重试次数。就酱！！

那么问题又来了，这么多中间件，我去哪里找这个settings配置和中间件的对应关系啊？？

这里我的方法有两种：

1.  去官方文档，上篇文章有链接
2.  看源码注释，在scrapy包下的都有中间件对应的py文件

![RetryMiddleware][]

注释里面写的明明白白，代码中获取的参数也一览无余。

### 自定义中间件 ###

有时候，内置的中间件满足不了自己的需求，所以我们就要自力更生，自定义中间件。所有的中间件都在**middlewares.py**中进行定义。

我们打开middlewares.py,发现里面已经自动生成了一个下载器中间件和Spider中间件。

先看自生成的下载器中间件模板：

![下载器中间件][6aeca0eb6ca2410d90b0fe523d8931d6.jpg]

可以看到里面主要有五个方法：

1.  *from\_crawler*：类方法，用于初始化中间件
2.  *process\_request*：每个request通过下载中间件时，都会调用该方法，对应架构图步骤4
3.  *process\_response*：处理下载器返回的响应内容，对应架构图步骤7
4.  *process\_exception*：当下载器或者处理请求异常时，调用此方法
5.  *spider\_opened*：内置的信号量回调方法，这里先不关注，先不关注！

这里主要关注3，顺带了解一下4、5。

#### process\_request() ####

此方法有两个参数：

1.  request：spider发起的需要处理的request
2.  spider：该request对应的spider，暂定信号量细讲这个对象

def process_request(self, request, spider):
            # Called for each request that goes through the downloader middleware.
    
            # Must either:
            # - return None: continue processing this request
            # - or return a Response object
            # - or return a Request object
            # - or raise IgnoreRequest: process_exception() methods of
            #   installed downloader middleware will be called
            return None

这里主要是为了让大家看注释，看注释的目的是为了告诉大家：**此方法必须返回值**。

1.  *None*：基本上用的都是这个返回值。表示这个请求可以进去下一个中间件进行处理了。
2.  *request*：停止调用process\_request方法，并重新将request放回队列重新调度
3.  *response*：不会调用其他的 process\_request，直接返回response，执行process\_response。

还有一个是raise抛出异常，其实基本上返回值都用None，其他的目前可以仅做了解，有兴趣的可以自己探索一下。

#### process\_response() ####

此方法有三个参数：

1.  request：response所对应的request
2.  response：被处理的response
3.  spider：response所对应的spider

def process_response(self, request, response, spider):
            # Called with the response returned from the downloader.
    
            # Must either;
            # - return a Response object
            # - return a Request object
            # - or raise IgnoreRequest
            return response

一样是看注释，返回值有两个：

1.  *response*：下载器返回的响应内容，在各个中间件的process\_response处理
2.  *request*：停止调用process\_response方法，响应不会到达spider，并重新将request放回队列重新调度

这里记住，只要*return response*就行。

#### process\_exception() ####

def process_exception(self, request, exception, spider):
            # Called when a download handler or a process_request()
            # (from other downloader middleware) raises an exception.
    
            # Must either:
            # - return None: continue processing this exception
            # - return a Response object: stops process_exception() chain
            # - return a Request object: stops process_exception() chain
            pass

此方法就是当上面两个方法抛出异常的时候就会进入此方法，返回值有三个，意思和上面的差不多，用None就行。

### 启用和禁用中间件 ###

自定义的中间件，有时候会和内置中间件功能重复，也担心功能上互相覆盖。所以这里我们可以选择，在配置中关掉内置中间件。

我个人比较喜欢自定义User-Agent中间件，但是Scrapy内置UserAgentMiddleware中间件，这就冲突了。如果内置中间件执行优先级低，后执行的话，则内置的UA就会覆盖自定义的UA。所以，我们需要关掉这个内置中UA中间件。

*DOWNLOADER\_MIDDLEWARES*参数用来设置下载器中间件。其中，Key为中间件路径，Value为中间件执行优先级，**数字越小，越先执行**，当Value为**None**时，表示禁用。

# settings.py
    DOWNLOADER_MIDDLEWARES = {
        
        # 禁用默认的useragent插件
        'scrapy.downloadermiddleware.useragent.UserAgentMiddleware': None,
        # 启用自定义的中间件
        'ScrapyDemo.middlewares.VideospiderDownloaderMiddleware': 543,
    }

这样，内置的UA中间件则被禁用。

### 调用优先级 ###

其次我们要明确的是：**中间件是链式调用，一个请求会根据中间件的优先级，先后经过每个中间件，响应也是**。

![流程图][ad948409a9a44207af1f5ee3d8a2ff3c.png]

上面也说了，每个中间件都会设置一个执行优先级，数字越小越先执行。例如中间件1的优先级设置为200，中间件2的优先级设置为300。

当spider发起一个请求时，request会先经过中间件1的process\_request进行处理，然后到达中间件2的此方法进行处理，当经过所有的中间件的此方法处理之后，最后到达下载器进行网站请求，然后返回响应内容。

process\_response就是逆序处理，先到达中间件2的此方法，再到达中间件1，最后响应返回spider中，由开发者处理。

### 实践 ###

这里我们自定义一个下载器中间件，来添加User-Agent。

#### 自定义中间件 ####

在middlewares.py中定义一个中间件：

class CustomUserAgentMiddleWare(object):
    
        def process_request(self, request, spider):
            request.headers['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.107 Safari/537.36'
            return None
    
        def process_response(self, request, response, spider):
            print(request.headers['User-Agent'])
            return response

#### 启用中间件 ####

为了直观，我们不修改settings.py全局配置，依旧使用代码内局部配置。

import scrapy
    
    class DouLuoDaLuSpider(scrapy.Spider):
        name = 'DouLuoDaLu'
        allowed_domains = ['v.qq.com']
        start_urls = ['https://v.qq.com/detail/m/m441e3rjq9kwpsc.html']
    
        custom_settings = {
        
            'DOWNLOADER_MIDDLEWARES': {
        
                # 禁用默认的useragent插件
                'scrapy.downloadermiddleware.useragent.UserAgentMiddleware': None,
                # 启用自定义的中间件
                'ScrapyDemo.middlewares.CustomUserAgentMiddleWare': 400
            }
        }
    
    
        def parse(self, response):
            pass

这里首先禁用了默认的UA中间件，然后启用了自定义的UA中间件。并且我在最后一行打上断点，Debug看UA是否设置成功。

#### 测试结果 ####

Debug模式启动程序，这里先把自定义的UA中间件禁用。

![禁用][326b595fe0ef476d969ce27e1feb6e9f.jpg]

如图，request的UA是Scrapy。我们将注释去掉，启动UA中间件，再次启动程序测试。

![启用][ade67dfa7be7458297e9632c4bffef06.jpg]

如图，request的UA已经变成我在中间件中设置的UA了。

#### 设置代理IP ####

依旧是在process\_request方法中设置代理IP。

代码如下：

request.meta["proxy"] = 'http://ip:port'

### 结语 ###

下载器中间件主要的功能还是包装请求，我个人自定义下载器中间件都是用来动态设置UA和实时检测更换代理IP。至于其他的场景需求，内置的下载器中间件基本上够用。

当然，不去学习下载器中间件这一块的知识同样可以开发Scrapy爬虫，但是下载器中间件会让你的爬虫更加完美。

本来想把下载器中间件和Spider中间件写在一篇中，但是知识点太碎，不好排版，而且还容易混淆，所以Spider中间件就留在下一篇写，期待下一次相遇。

--------------------

95后小程序员，写的都是日常工作中的亲身实践，置身于初学者的角度从0写到1，详细且认真。文章会在公众号 \[**入门到放弃之路**\] 首发，期待你的关注。  
  
![感谢每一份关注][20210519233121183.png]

[Scrapy]: https://img-blog.csdnimg.cn/5c4ed2fe7ba34b9ea021f4aede66f248.png
[459f897ee9604d56a643cf89ac280655.jpg]: https://img-blog.csdnimg.cn/459f897ee9604d56a643cf89ac280655.jpg
[RetryMiddleware]: https://img-blog.csdnimg.cn/d3230d161c404cc6b422b0b0123758c8.jpg
[6aeca0eb6ca2410d90b0fe523d8931d6.jpg]: https://img-blog.csdnimg.cn/6aeca0eb6ca2410d90b0fe523d8931d6.jpg
[ad948409a9a44207af1f5ee3d8a2ff3c.png]: https://img-blog.csdnimg.cn/ad948409a9a44207af1f5ee3d8a2ff3c.png
[326b595fe0ef476d969ce27e1feb6e9f.jpg]: https://img-blog.csdnimg.cn/326b595fe0ef476d969ce27e1feb6e9f.jpg
[ade67dfa7be7458297e9632c4bffef06.jpg]: https://img-blog.csdnimg.cn/ade67dfa7be7458297e9632c4bffef06.jpg
[20210519233121183.png]: https://img-blog.csdnimg.cn/20210519233121183.png