Scrapy进阶知识点总结（五）——Settings

╰半橙微兮° 2023-08-17 16:29 146阅读 0赞

### 1.设置优先级 ###

Scrapy中有不同层次的设置，其类型以及优先级如下（从高到低）:

*  1.命令行命令中指定的设置
 *  2.每个spider中的设置
 *  3.scrapy项目中settings.py设置
 *  4.命令行命令的默认设置
 *  5.scrapy全局的默认设置

1.命令行命令中指定的设置

命令行提供的参数是最优先的参数，覆盖任何其他选项

scrapy crawl myspider -s LOG_FILE=scrapy.log

2.每个spider中的设置

spider可以定义自己的设置，这些设置优先并覆盖项目设置。他们可以通过设置custom\_settings属性来实现

class MySpider(scrapy.Spider):
        name = 'myspider'
    
        custom_settings = {
            'SOME_SETTING': 'some value',
        }

3.scrapy项目中settings.py设置

通过project.settings中修改，下面有详细的配置解释

4.命令行命令的默认设置

每个Scrapy工具命令都可以有自己的默认设置，这些设置会覆盖全局默认设置。这些自定义命令设置default\_settings在命令类的属性中指定。

5.scrapy全局的默认设置

全局默认值位于scrapy.settings.default\_settings 模块中

### 2.settings设置 ###

#### BOT\_NAME ####

此Scrapy项目名称。这将默认用于构建User-Agent，也用于日志记录。使用该startproject命令创建项目时，它会自动填充项目名称

#### SPIDER\_MODULES ####

scrapy查找spider的路径

#### NEWSPIDER\_MODULE ####

指定使用genspider时创建spider的路径

#### USER\_AGENT ####

爬虫时使用的默认User-Agent，除非被覆盖。默认： `"Scrapy/VERSION (+https://scrapy.org)"`

#### ROBOTSTXT\_OBEY ####

表示遵不遵守君子协议，默认False

#### CONCURRENT\_REQUESTS ####

Scrapy下载程序将执行的最大并发（即同时）请求数。默认16

#### DOWNLOAD\_DELAY ####

下载延时，限制爬虫速度，防止过快被封

#### CONCURRENT\_REQUESTS\_PER\_DOMAIN ####

将对任何单个域执行的最大并发（即同时）请求数

#### CONCURRENT\_REQUESTS\_PER\_IP ####

对任何单个IP执行的最大并发（即同时）请求数。如果设置这个会忽略CONCURRENT\_REQUESTS\_PER\_DOMAIN设置

#### COOKIES\_ENABLED ####

是否启用cookies，如果启用，同时也会启用cookies中间件，默认是开。如果要用setting中请求头中cookie设置，则需要关闭这个，因为scrapy默认使用cookies中间件管理，可能会有冲突。

#### TELNETCONSOLE\_ENABLED ####

是否启用Telnet

#### DEFAULT\_REQUEST\_HEADERS ####

配置请求头，项目全局配置，会被局部如spider headers请求中间件等覆盖，详细看 [这里][Link 1]解释的比较好

即优先级为：中间件方式downloadermiddleware  > scrapy.Request(headers)  > spider中custom\_settings   > settings.py > Scrapy默认

#### SPIDER\_MIDDLEWARES ####

启用的spider中间件，数字越高优先级越高

#### DOWNLOADER\_MIDDLEWARES ####

下载器中间件

#### EXTENSIONS ####

拓展，参考官网拓展章节

#### ITEM\_PIPELINES ####

启用的item管道

#### AUTOTHROTTLE\_ENABLED ####

启用AutoThrottle扩展，自动限速功能，有时爬的数据不全，可以试试这个。。

#### AUTOTHROTTLE\_START\_DELAY ####

AutoThrottle扩展初始下载延迟（以秒为单位）

#### AUTOTHROTTLE\_MAX\_DELAY ####

AutoThrottle扩展，在高延迟的情况下要设置的最大下载延迟（以秒为单位）

#### AUTOTHROTTLE\_TARGET\_CONCURRENCY ####

AutoThrottle扩展，对每个网站的并发量

#### AUTOTHROTTLE\_DEBUG ####

启用AutoThrottle调试模式，该模式将显示收到的每个响应的统计信息，以便您可以查看如何实时调整限制参数

#### HTTPCACHE\_ENABLED ####

是否启用HTTP缓存

#### HTTPCACHE\_EXPIRATION\_SECS ####

缓存请求的到期时间，以秒为单位

#### HTTPCACHE\_DIR ####

用于存储（低级）HTTP缓存的目录。 如果为空，则将禁用HTTP缓存。 如果给出相对路径，则相对于项目数据dir

#### HTTPCACHE\_IGNORE\_HTTP\_CODES ####

不要使用这些HTTP代码缓存响应(不懂)

#### HTTPCACHE\_STORAGE ####

实现缓存存储后端的类

*以上是使用startproject时settings.py中默认的设置，还有其它设置可以自行添加*

### 3.访问setting ###

在spider中通过self.settings获取

class MySpider(scrapy.Spider):
        name = 'myspider'
        start_urls = ['http://example.com']
    
        def parse(self, response):
            print("Existing settings: %s" % self.settings.attributes.keys())

通过from\_crawler类方法获取scrapy.crawler.Crawler.settings 中的属性

class MyExtension(object):
        def __init__(self, log_is_enabled=False):
            if log_is_enabled:
                print("log is enabled!")
    
        @classmethod
        def from_crawler(cls, crawler):
            settings = crawler.settings
            return cls(settings.getbool('LOG_ENABLED'))

可以在spider类、middleware类、pipeline类以及extension使用from\_crawler方法

### 4.总结 ###

1.settings.py中的设置是针对整个项目的，可以添加对整个spiders通用的设置

2.custom\_settings是spider单独的设置，比如可以设置每个spider用不同的中间件或管道

3.命令行中的设置，最高的优先级，应用场景比如，cmd多开的时候使用不同配置去跑spider，不过一些配置可能会出问题

转载于:https://www.cnblogs.com/fengf233/p/11400262.html

[Link 1]: https://blog.csdn.net/mouday/article/details/80776030