scrapy---setting的字段含义

清疚 2021-12-10 10:09 146阅读 0赞

# -*- coding: utf-8 -*-
    
    # Scrapy settings for lizi project
    #
    # For simplicity, this file contains only settings considered important or
    # commonly used. You can find more settings consulting the documentation:
    #
    #     http://doc.scrapy.org/en/latest/topics/settings.html
    #     http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html
    #     http://scrapy.readthedocs.org/en/latest/topics/spider-middleware.html
    
    BOT_NAME = 'lizi'
    
    SPIDER_MODULES = ['lizi.spiders']
    NEWSPIDER_MODULE = 'lizi.spiders'
    
    
    # Crawl responsibly by identifying yourself (and your website) on the user-agent
    USER_AGENT = 'lizi (+http://www.yourdomain.com)'
    '''默认: "Scrapy/VERSION (+http://scrapy.org)"
    
    爬取的默认User-Agent，除非被覆盖。'''
    # Obey robots.txt rules
    #ROBOTSTXT_OBEY = True
    ROBOTSTXT_OBEY = False
    '如果启用，Scrapy将会尊重 robots.txt策略'
    CONCURRENT_REQUESTS = 32
    '''***********************
    Configure maximum concurrent requests performed by Scrapy (default: 16)
    Scrapy downloader 并发请求(concurrent requests)的最大值
    '''
    # Configure a delay for requests for the same website (default: 0)
    # See http://scrapy.readthedocs.org/en/latest/topics/settings.html#download-delay
    # See also autothrottle settings and docs
    
    DOWNLOAD_DELAY = 3
    '''************************
    下载器在下载同一个网站下一个页面前需要等待的时间。
    该选项可以用来限制爬取速度， 减轻服务器压力。同时也支持小数:
    该设定影响(默认启用的) RANDOMIZE_DOWNLOAD_DELAY 设定。 默认情况下，Scrapy在两个请求间不等待一个固定的值，
     而是使用0.5到1.5之间的一个随机值 * DOWNLOAD_DELAY 的结果作为等待间隔。
    当 CONCURRENT_REQUESTS_PER_IP 非0时，延迟针对的是每个ip而不是网站。
    另外您可以通过spider的 download_delay 属性为每个spider设置该设定。
    '''
    
    # The download delay setting will honor only one of:
    CONCURRENT_REQUESTS_PER_DOMAIN = 16
    '对单个网站进行并发请求的最大值'
    CONCURRENT_REQUESTS_PER_IP = 16
    
    
    '''
    对单个IP进行并发请求的最大值。如果非0，则忽略 CONCURRENT_REQUESTS_PER_DOMAIN 设定， 
    使用该设定。 也就是说，并发限制将针对IP，而不是网站。
    该设定也影响 DOWNLOAD_DELAY: 如果 CONCURRENT_REQUESTS_PER_IP 非0，
    下载延迟应用在IP而不是网站上。
    '''
    
    # Disable cookies (enabled by default)
    COOKIES_ENABLED = False
    '是否启用cookies middleware。如果关闭，cookies将不会发送给web server。'
    # Disable Telnet Console (enabled by default)
    TELNETCONSOLE_ENABLED = False
    '表明 telnet 终端 (及其插件)是否启用的布尔值。'
    # Override the default request headers:
    DEFAULT_REQUEST_HEADERS = {
       'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
       'Accept-Language': 'en',}
    'Scrapy HTTP Request使用的默认header。由 DefaultHeadersMiddleware 产生。这里通常可以自己添加更完整'
    # Enable or disable spider middlewares
    # See http://scrapy.readthedocs.org/en/latest/topics/spider-middleware.html
    
    SPIDER_MIDDLEWARES = {
        'lizi.middlewares.MyCustomSpiderMiddleware': 543,
    }
    '''要启用spider中间件，您可以将其加入到 SPIDER_MIDDLEWARES 设置中。 
    该设置是一个字典，键位中间件的路径，值为中间件的顺序(order)。如上就是开启'''
    # Enable or disable downloader middlewares
    # See http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html
    DOWNLOADER_MIDDLEWARES = {
        'lizi.middlewares.MyCustomDownloaderMiddleware': 543,
    }
    '''保存项目中启用的下载中间件及其顺序的字典。 更多内容请查看 激活下载器中间件
    DOWNLOADER_MIDDLEWARES 设置会与Scrapy定义的 DOWNLOADER_MIDDLEWARES_BASE 设置合并(但不是覆盖)， 而后根据顺序(order)进行排序，
    最后得到启用中间件的有序列表: 第一个中间件是最靠近引擎的，最后一个中间件是最靠近下载器的。
    关于如何分配中间件的顺序请查看 DOWNLOADER_MIDDLEWARES_BASE 设置，
    而后根据您想要放置中间件的位置选择一个值。 
    由于每个中间件执行不同的动作，您的中间件可能会依赖于之前(或者之后)执行的中间件，
    因此顺序是很重要的'''
    # Enable or disable extensions
    # See http://scrapy.readthedocs.org/en/latest/topics/extensions.html
    EXTENSIONS = {    'scrapy.extensions.telnet.TelnetConsole': None,
    }
    
    # Configure item pipelines
    # See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
    
    
    ITEM_PIPELINES = {
        'lizi.pipelines.SomePipeline': 300,
    }
    #这里如果一个项目多个spiders的时候，每次运行的时候每次要在这里制定一个对应的pipeline
    '''
    保存项目中启用的pipeline及其顺序的字典。该字典默认为空，值(value)任意。 不过值(value)习惯设定在0-1000范围内。
    为了兼容性，ITEM_PIPELINES 支持列表，不过已经被废弃了。
    样例:
    ITEM_PIPELINES = {
        'mybot.pipelines.validate.ValidateMyItem': 300,
        'mybot.pipelines.validate.StoreMyItem': 800,
    }'''
    
    # Enable and configure the AutoThrottle extension (disabled by default)
    # See http://doc.scrapy.org/en/latest/topics/autothrottle.html
    AUTOTHROTTLE_ENABLED = True
    '启用自动限速AutoThrottle扩展'
    # The initial download delay
    AUTOTHROTTLE_START_DELAY = 5
    '初始下载延迟(单位:秒)'
    # The maximum download delay to be set in case of high latencies
    AUTOTHROTTLE_MAX_DELAY = 60
    '初始下载延迟(单位:秒)'
    # The average number of requests Scrapy should be sending in parallel to
    # each remote server
    AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
    # Enable showing throttling stats for every response received:
    AUTOTHROTTLE_DEBUG = False
    '起用AutoThrottle调试(debug)模式，展示每个接收到的response。 您可以通过此来查看限速参数是如何实时被调整的'
    # Enable and configure HTTP caching (disabled by default)
    # See http://scrapy.readthedocs.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
    HTTPCACHE_ENABLED = True
    'HTTP缓存是否开启。'
    HTTPCACHE_EXPIRATION_SECS = 0
    '''缓存的request的超时时间，单位秒。
    超过这个时间的缓存request将会被重新下载。如果为0，则缓存的request将永远不会超时。'''
    HTTPCACHE_DIR = 'httpcache'
    '''存储(底层的)HTTP缓存的目录。如果为空，则HTTP缓存将会被关闭。 如果为相对目录，则相对于项目数据目录(project data dir)。
    更多内容请参考 默认的Scrapy项目结构 。'''
    HTTPCACHE_IGNORE_HTTP_CODES = []
    '''不缓存设置中的HTTP返回值(code)的request。'''
    HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
    '实现缓存存储后端的类。'
    
    #一下内容为默认setting.py文件没有的字段，但是可以自己添加
    
    CONCURRENT_ITEMS
    '''
    默认: 100
    Item Processor(即 Item Pipeline) 同时处理(每个response的)item的最大值。
    '''
    
    DEFAULT_ITEM_CLASS
    '''默认: 'scrapy.item.Item'
    the Scrapy shell 中实例化item使用的默认类'''
    
    
    DEPTH_LIMIT
    '''默认: 0
    爬取网站最大允许的深度(depth)值。如果为0，则没有限制'''
    DEPTH_PRIORITY
    '''默认: 0
    整数值。用于根据深度调整request优先级。
    如果为0，则不根据深度进行优先级调整'''
    DEPTH_STATS
    '''
    默认: True
    是否收集最大深度数据。'''
    DEPTH_STATS_VERBOSE
    '''默认: False
    是否收集详细的深度数据。如果启用，每个深度的请求数将会被收集在数据中。'''
    
    DOWNLOAD_HANDLERS
    '''
    默认: {}
    保存项目中启用的下载处理器(request downloader handler)的字典。 例子请查看 DOWNLOAD_HANDLERS_BASE 。
    DOWNLOAD_HANDLERS_BASE
    默认:
    {
        'file': 'scrapy.core.downloader.handlers.file.FileDownloadHandler',
        'http': 'scrapy.core.downloader.handlers.http.HttpDownloadHandler',
        'https': 'scrapy.core.downloader.handlers.http.HttpDownloadHandler',
        's3': 'scrapy.core.downloader.handlers.s3.S3DownloadHandler',
    }
    保存项目中默认启用的下载处理器(request downloader handler)的字典。 永远不要在项目中修改该设定，而是修改 DOWNLOADER_HANDLERS 。
    如果需要关闭上面的下载处理器，您必须在项目中的 DOWNLOAD_HANDLERS 设定中设置该处理器，并为其赋值为 None 。 例如，关闭文件下载处理器:
    DOWNLOAD_HANDLERS = {
        'file': None,
    }'''
    DOWNLOAD_TIMEOUT
    '''
    默认: 180
    下载器超时时间(单位: 秒)。'''
    
    LOG
    '''
    LOG_ENABLED
    默认: True
    是否启用logging。
    LOG_ENCODING
    默认: 'utf-8'
    logging使用的编码。
    LOG_FILE
    默认: None
    logging输出的文件名。如果为None，则使用标准错误输出(standard error)。
    LOG_LEVEL
    默认: 'DEBUG'
    log的最低级别。可选的级别有: CRITICAL、 ERROR、WARNING、INFO、DEBUG。更多内容请查看 Logging 。
    LOG_STDOUT
    默认: False
    如果为 True ，进程所有的标准输出(及错误)将会被重定向到log中。例如， 执行 print 'hello' ，其将会在Scrapy log中显示。'''
    
    RANDOMIZE_DOWNLOAD_DELAY
    '''
    默认: True
    如果启用，当从相同的网站获取数据时，Scrapy将会等待一个随机的值 (0.5到1.5之间的一个随机值 * DOWNLOAD_DELAY)。
    该随机值降低了crawler被检测到(接着被block)的机会。某些网站会分析请求， 查找请求之间时间的相似性。
    随机的策略与 wget --random-wait 选项的策略相同。
    若 DOWNLOAD_DELAY 为0(默认值)，该选项将不起作用
    '''

转载于:https://www.cnblogs.com/xueli/p/7250537.html