Scrapy框架之同时执行多个爬虫任务

港控/mmm° 2023-07-15 13:21 17阅读 0赞

我们在使用Scrapy框架写爬虫时，往往会创立多个爬虫项目，但每次运行时只能使用scrapy crawl 爬虫名，一旦我们需要启动爬虫，那么就会很费劲，需要不停的输入命令。那么下面我们将使用一条命令启动spider中所有的爬虫。

## 通过自定义scrapy命令的方式来运行 ##

创建项目命令可参考：[http://doc.scrapy.org/en/master/topics/commands.html?highlight=commands\_module\#custom-project-commands][http_doc.scrapy.org_en_master_topics_commands.html_highlight_commands_module_custom-project-commands]

#### 1. 在spiders同级目录下创建commands目录 ####

#### 1.1在其中创建crawlall.py 文件名（自定义命令文件） ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]

fimport os
    from scrapy.commands import ScrapyCommand
    from scrapy.utils.conf import arglist_to_dict
    from scrapy.utils.python import without_none_values
    from scrapy.exceptions import UsageError
     
    class Command(ScrapyCommand):
        requires_project = True
        def syntax(self):
            return "[options] <spider>"
        def short_desc(self):
            return "Run all spider"
        def add_options(self, parser):
            ScrapyCommand.add_options(self, parser)
            parser.add_option("-a", dest="spargs", action="append", default=[], metavar="NAME=VALUE",
                              help="set spider argument (may be repeated)")
            parser.add_option("-o", "--output", metavar="FILE",
                              help="dump scraped items into FILE (use - for stdout)")
            parser.add_option("-t", "--output-format", metavar="FORMAT",
                              help="format to use for dumping items with -o")
     
        def process_options(self, args, opts):
            ScrapyCommand.process_options(self, args, opts)
            try:
                opts.spargs = arglist_to_dict(opts.spargs)
            except ValueError:
                raise UsageError("Invalid -a value, use -a NAME=VALUE", print_help=False)
            if opts.output:
                if opts.output == '-':
                    self.settings.set('FEED_URI', 'stdout:', priority='cmdline')
                else:
                    self.settings.set('FEED_URI', opts.output, priority='cmdline')
                feed_exporters = without_none_values(
                    self.settings.getwithbase('FEED_EXPORTERS'))
                valid_output_formats = feed_exporters.keys()
                if not opts.output_format:
                    opts.output_format = os.path.splitext(opts.output)[1].replace(".", "")
                if opts.output_format not in valid_output_formats:
                    raise UsageError("Unrecognized output format '%s', set one"
                                     " using the '-t' switch or as a file extension"
                                     " from the supported list %s" % (opts.output_format,
                                                                      tuple(valid_output_formats)))
                self.settings.set('FEED_FORMAT', opts.output_format, priority='cmdline')
     
        def run(self, args, opts):
            #获取爬虫列表
            spd_loader_list=self.crawler_process.spider_loader.list()#获取所有的爬虫文件。
            print(spd_loader_list)
            #遍历各爬虫
            for spname in spd_loader_list or args:
                self.crawler_process.crawl(spname, **opts.spargs)
                print ('此时启动的爬虫为：'+spname)
            self.crawler_process.start()

这里主要通过scrapy.crawler.CrawlerProcess来实现在脚本里运行一个spider。

#### 2、commands命令下添加\_\_init\_\_.py文件 ####

touch **init**.py  
**这一步不能省略，否则会出现异常。**

#### 3. 在settings.py文件中需要添加一条命令 ####

COMMANDS\_MODULE = ‘项目名称.目录名称’　  
![在这里插入图片描述][20200317115230147.png]

#### 4.设置setup.py(spiders同级目录下创建 .py文件) ####

###### setup.py设置代码： ######

from setuptools import setup, find_packages
    
    setup(name='scrapy-mymodule',
      entry_points={
        'scrapy.commands': [
          'crawlall=cnblogs.commands:crawlall',
        ],
      },
     )

这个文件的含义是定义了一个crawlall命令，cnblogs.commands为命令文件目录，crawlall为命令名。

#### 5.使用 scrapy crawlall 运行所有的爬虫 ####

scrapy crawlall

## 注意 ##

这种方法运行的爬虫是同时启动，他们之间可能是交叉运行，或是并发运行，一旦你的爬虫数量比较多时就会产生端口占用的异常报错。所以爬虫数量大于30以上的最好不要采用这种方法。  
![在这里插入图片描述][20200403162235518.png]

### 二、 run.py添加自己的爬虫项目 ###

使用cmdline.execute(‘scrapy crawl 爬虫名’.split())

from multiprocessing import Process
    from scrapy import cmdline
    import time
    import logging
    
    # 配置参数即可, 爬虫名称，运行频率
    confs = [
        {
            "spider_name": "unit42",
            "frequency": 2,
        },
        {
            "spider_name": "cybereason",
            "frequency": 2,
        },
        {
            "spider_name": "Securelist",
            "frequency": 2,
        },
        {
            "spider_name": "trendmicro",
            "frequency": 2,
        },
        {
            "spider_name": "yoroi",
            "frequency": 2,
        },
        {
            "spider_name": "weibi",
            "frequency": 2,
        },
    ]
    
    
    def start_spider(spider_name, frequency):
        args = ["scrapy", "crawl", spider_name]
        #需要设置时间，否则会这里会是一个无限的循环，
        while True:          
            start = time.time()      #自己设置时间
            p = Process(target=cmdline.execute, args=(args,))
            p.start()
            p.join()
            logging.debug("### use time: %s" % (time.time() - start))
            time.sleep(frequency)
    
    
    if __name__ == '__main__':
        for conf in confs:
            process = Process(target=start_spider,
                              args=(conf["spider_name"], conf["frequency"]))        
            process.start()
            time.sleep(10)

或者就是将自己的爬虫全部添加进去，然后单独运行run.py也可以实现多个爬虫的运行。

[http_doc.scrapy.org_en_master_topics_commands.html_highlight_commands_module_custom-project-commands]: http://doc.scrapy.org/en/master/topics/commands.html?highlight=commands_module#custom-project-commands
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zODkyNDUwMA_size_16_color_FFFFFF_t_70]: /images/20230528/c95d604afa854a5193e36bab7beb53ca.png
[20200317115230147.png]: /images/20230528/cdba582fb25345d8b038efe94bf6c08a.png
[20200403162235518.png]: /images/20230528/dc0aba4ef24c4405bce9232a28e2b9d1.png