Windows和ubuntu下安装scrapyd和spiderkeeper监控定时启动scrapy爬虫项目

Love The Way You Lie 2023-07-25 12:43 13阅读 0赞

\*\*

## scrapyd部署scrapy项目 ##

\*\*  
**安装scrapyd　和scrapyd-client**

1. pip install scrapyd　 
    2. pip install scrapyd-client

**修改scrapy.cfg的内容**  
找到scrapy.cfg文件位置修改内容  
![scrapy.cfg文件位置][scrapy.cfg]

打开scrapy.cfg文件，将URL注释取消

# Automatically created by: scrapy startproject
    #
    # For more information about the [deploy] section see:
    # https://scrapyd.readthedocs.io/en/latest/deploy.html
    
    [settings]
    default = wanka.settings
    
    [deploy:wanka]
    url = http://localhost:6800/
    project = wanka

要发布项目，首先要在项目地址路径下启动scrapyd,直接在命令行输入scrapyd,成功得到类似如下输出  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70]  
在运行了scrapyd后，重新打开一个命令行窗口，输入下列命令，发布项目

#在项目路径下输入：
    scrapyd-deploy wanka -p wanka #在scrapy.cfg文件有配置
    #提示未找到scrapyd-deploy时输入下列，localhost是 scrapy.cfg中[deploy:localhost]，projectname是project：
    python C:\Users\lan\AppData\Local\Programs\Python\Python36\Scripts\scrapyd-deploy localhost -p projectname

成功后得到如下信息：  
![在这里插入图片描述][20200415091332409.png]  
现在只是将项目发布到目标地址，但是没有调度爬虫，调度爬虫需要用到ｃｕｒｌ命令，在http://localhost:6800有提示如下：

curl http://localhost:6800/schedule.json -d project=default -d spider=somespider

可以在浏览器中输入http://localhost:6800查看爬虫运行情况：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 1]

## windows部署SpiderKeeper(爬虫监控) ##

安装SpiderKeeper

pip install spiderkeeper

然后启动SpiderKeeper在cmd任意路径下输入SpiderKeeper。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 2]  
使用scrapyd打包你的项目生成.egg文件，以便后面传到spiderkeeper上面，在项目路径下输入：

python "C:\Users\lan\AppData\Local\Programs\Python\Python36\Scripts\scrapyd-deploy" --build -egg wanka.egg

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 3]  
在浏览器访问localhost:5000,创建项目  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 4]上传刚才生成的egg文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 5]  
上传成功，点击仪表盘，添加一个任务  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 6]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 7]spiderkeeper一大优点就是计划任务做的很好，帮助我们减少了一些工作。  
这里计划任务根据自己需求设置，设置完点击创建即可  
设置完成点击运行即可，如果你设置错了，也可以选择移除它。  
部署完成，回到仪表盘看下自己的爬虫执行状态。

不想运行了也可以点击结束爬虫，需要注意的是，一个爬虫结束后，需要在进行添加一次任务。spiderkeeper封装了scrapyd的log接口，我们可以直接点击log查看爬虫的异常信息。

**以上参考：**  
[scrapyd部署scrapy项目及定时启动，SpiderKeeper(爬虫监控)][scrapyd_scrapy_SpiderKeeper]  
[scrapyd部署scrapy项目(windows)][scrapyd_scrapy_windows]

## 遇到的问题和解决办法 ##

**在ubuntu中安装spiderkeeper时报错**

python3安装库时关于 ImportError: cannot import name ‘Feature’ from 'setuptools’报错解决

查阅相关文档发现是setuptool版本的问题，python3源中的setuptools已经升级到46以上。所以导致pip安装失败  
更新setuptools版本  
参考:[python3安装库时关于 ImportError: cannot import name ‘Feature’ from 'setuptools’报错解决][python3_ ImportError_ cannot import name _Feature_ from _setuptools]

pip install --upgrade pip setuptools==45.2.0

**用xhseel连接服务器时，断开后spiderkeeper和scrapyd都中断了。**

nohup spiderkeeper &
    nohup scrapyd &

在shell中回车后提示：

[~]$ appending output to nohup.out

原程序的的标准输出被自动改向到当前目录下的nohup.out文件，起到了log的作用。  
参考：[nohup命令的用法][nohup]

[scrapy.cfg]: /images/20230528/effaf05ee67743e198e56a3543565f06.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70]: /images/20230528/cdd05db5dd114ff58347d22bf29b2660.png
[20200415091332409.png]: /images/20230528/bd5f4b765c7b4e87adab378d66bf6268.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 1]: /images/20230528/5f0740a711494c3aa077e8fe2302e9d7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 2]: /images/20230528/444cb5fc6ea64f2793a7aabfce1d8c99.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 3]: /images/20230528/dc4340ea89254f2e997f9468170ca291.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 4]: /images/20230528/527a177b498641fab6a9b17e7ac24414.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 5]: /images/20230528/88386471131247d7943cdd38c62d6f1b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 6]: /images/20230528/bfc6dff6104742eaa58cd7784a8b54f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2xhbmJlbjg4Ng_size_16_color_FFFFFF_t_70 7]: /images/20230528/3472c71bbe3a4bd08cf771cc01dc74c7.png
[scrapyd_scrapy_SpiderKeeper]: https://www.jianshu.com/p/93b184743640
[scrapyd_scrapy_windows]: https://www.jianshu.com/p/799a5c3195e4
[python3_ ImportError_ cannot import name _Feature_ from _setuptools]: https://blog.csdn.net/pengshengege/article/details/105113561
[nohup]: https://www.cnblogs.com/keystone/p/11159665.html