windows中同时运行多个scrapy爬虫

逃离我推掉我的手 2022-07-14 06:12 220阅读 0赞

1. 在你的Scrapy工程下面新建一个与spiders平级的目录commands：
    
    cd path/to/your_project
    
    mkdir commands
    
    
    
    2. 在commands下面添加一个文件crawlall.py，代码如下：
    from scrapy.command import ScrapyCommand  
    from scrapy.utils.project import get_project_settings  
    from scrapy.crawler import Crawler  
    
    class Command(ScrapyCommand):  
    
        requires_project = True  
    
        def syntax(self):  
            return '[options]'  
    
        def short_desc(self):  
            return 'Runs all of the spiders'  
    
        def run(self, args, opts):  
            settings = get_project_settings()  
    
            for spider_name in self.crawler.spiders.list():  
                crawler = Crawler(settings)  
                crawler.configure()  
                spider = crawler.spiders.create(spider_name)  
                crawler.crawl(spider)  
                crawler.start()  
    
            self.crawler.start()  
    
    3. 在settings.py中添加配置：
    COMMANDS_MODULE = 'yourprojectname.commands'
    
    
    
    4. 在cronjob中添加：scrapy crawlall命令即可
    ？？可是在windows里没有cronjob怎么办?

发表评论取消回复

表情：

评论列表（有 0 条评论，220人围观）

还没有评论，来说两句吧...

相关阅读

相关 Scrapy怎样同时运行多个爬虫？

　　默认情况下，当你运行 scrapy crawl 命令的时候，scrapy只能在单个进程里面运行一个爬虫。然后Scrapy运行方式除了采用命令行式的运行方式以外还可以使用AP

今天药忘吃喽~/ 2023年10月11日 13:39/ 0 赞/ 57 阅读

相关 Scrapy爬虫——创建第一个爬虫

一、演示的HTML页面 URL：[http://python123.io/ws/demo.html][http_python123.io_ws_demo.html] 内

逃离我推掉我的手/ 2023年07月24日 13:05/ 0 赞/ 54 阅读

相关 Scrapy 循环顺序运行多个任务

基于 Scrapy 框架扩展，循环顺序执行多个任务 -- coding: utf-8 -- from scrapy.cmdline import

待我称王封你为后i/ 2023年07月19日 16:27/ 0 赞/ 433 阅读

相关 Scrapy框架之同时执行多个爬虫任务

我们在使用Scrapy框架写爬虫时，往往会创立多个爬虫项目，但每次运行时只能使用scrapy crawl 爬虫名，一旦我们需要启动爬虫，那么就会很费劲，需要不停的输入命令。那么

港控/mmm°/ 2023年07月15日 13:21/ 0 赞/ 18 阅读

相关 windows下同时启动多个tomcat

3.增加环境变量CATALINA\_HOME2，值为新的tomcat的地址；增加环境变量CATALINA\_BASE2，值为新的tomcat的地址。 4.修改新的tomcat

小咪咪/ 2022年09月27日 00:27/ 0 赞/ 294 阅读

相关 windows中同时运行多个scrapy爬虫

1. 在你的Scrapy工程下面新建一个与spiders平级的目录commands： cd path/to/your_project

逃离我推掉我的手/ 2022年07月14日 06:12/ 0 赞/ 221 阅读

相关第一个scrapy 爬虫

安装完scrapy 之后，通过scrapy startproject ‘ProjectName’ 来新建项目, 然后 scrapy 就会自动帮我们创建项目 ![demo]

水深无声/ 2022年05月30日 02:41/ 0 赞/ 329 阅读

相关 Scrapy爬虫（7）在Windows中安装及使用Scrapy

本次分享将介绍Scrapy在Windows系统中的安装以及使用，主要解决的问题有：在Windows中安装Scrapy模块在IDE（PyCharm）中使用S

傷城~/ 2022年05月29日 03:17/ 0 赞/ 555 阅读

相关 [work] Shell 同时运行多个脚本

1、背景是有三个脚本a.py, b.py, c.py 三个都是爬虫，里面都是while(true)方式运行的，不会主动运行结束。每次启动他们，就需要：

小鱼儿/ 2022年04月02日 03:46/ 0 赞/ 880 阅读

相关用shell同时执行多个scrapy命令

> 项目中单机使用shell脚本进行多个scrapy命令的运行，即同个shell进行多个scrapy命令的执行，这样会大大提高爬取效率，好好利用CPU使用率在shell命令

太过爱你忘了你带给我的痛/ 2021年09月15日 11:14/ 0 赞/ 343 阅读