在PyCharm内部运行Scrapy项目

小咪咪 2022-02-18 23:39 333阅读 0赞

刚刚接触 scrapy，发现一切的scrapy项目的运行都是在命令行进行的，虽然说调试的时候也很方便，但是每次打开项目去运行都需要打开命令行进入到项目目录里面再去运行，我个人认为这是比较繁琐的。然后就去寻找其他办法，看看有没有就像在PyCharm里面的小项目一样可以直接在PyCharm内部调试运行的方法

我百度过之后发现在命令行运行其实是调用了 ...\\Python36\\Lib\\site-packages\\scrapy 路径中的 cmdline.py

换句话说也就是命令行中运行的

scrapy crawl run_quotes

就相当于在命令行中执行了

...\Python36\Lib\site-packages\scrapy\cmdline.py crawl run_quotes

测试：打开pycharm运行

from scrapy.cmdline import execute
    
    execute()

运行结果：

![20190415105712113.png][]

打开命令行：

![20190415105839635.png][]

我们打开...\\Python36\\Lib\\site-packages\\scrapy 路径中的 cmdline.py看一下

![20190415110300963.png][]

![20190415110536469.png][]

也就是说其实程序调用的是 cmdline.py模块中的 execute方法

然后我们打开pycharm 以在命令行运行scrapy的方式在spiders的父级目录新建一个运行 scrapy项目的启动文件(名字看心情)

然后写入代码

from scrapy.cmdline import execute
    
    # execute(argv=['scrapy', 'crawl', 'quotes'])
    execute('scrapy crawl quotes'.split())

然后直接运行就可以了

[20190415105712113.png]: /images/20220219/6b184ab2ae60478d9ef797d29e72b37e.png
[20190415105839635.png]: /images/20220219/f32bfd1bdfb3466fb6c05b861397c69f.png
[20190415110300963.png]: /images/20220219/e4a926768b1f47b185eb754d3d1ef778.png
[20190415110536469.png]: /images/20220219/75e9b997935f43308a44ba44b48704b5.png

发表评论取消回复

表情：

评论列表（有 0 条评论，333人围观）

还没有评论，来说两句吧...

相关阅读

相关 Pycharm 配置运行 Django 项目

一、使用 Pycharm 打开 Django 项目会发现右上角有个灰色的按钮如下图所示，点击： ![b02aa1ffc46cd9fca01df1d4a3d48728.

深藏阁楼爱情的钟/ 2022年12月07日 12:26/ 0 赞/ 408 阅读

相关 Scrapy框架入门(pycharm)

文章目录一、Scrapy框架是什么？二、windows系统环境搭配 1.先cmd命令行: 2.下载Twested.whl文件:

痛定思痛。/ 2022年09月16日 06:08/ 0 赞/ 185 阅读

相关 PyCharm下进行Scrapy项目的调试

> PyCharm下进行Scrapy项目的调试，可以在爬虫项目的根目录创建一个main.py，然后在PyCharm设置下运行路径，那么就不用每次都在命令行运行代码，直接运行ma

阳光穿透心脏的1/2处/ 2022年06月15日 11:43/ 0 赞/ 240 阅读

相关如何在pycharm中调试scrapy

引用：[https://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-p

冷不防/ 2022年05月25日 13:08/ 0 赞/ 232 阅读

相关 pycharm 装scrapy

手动设置延迟： pip --default-timeout=100 install scrapy pip换成清华源： pip install scrapy -i [htt

Myth丶恋晨/ 2022年05月17日 07:42/ 0 赞/ 251 阅读

相关 pycharm在windows上创建项目代码运行失败问题

转自[https://blog.csdn.net/Jameslvt/article/details/80938874][https_blog.csdn.net_Jameslvt

女爷i/ 2022年05月16日 05:28/ 0 赞/ 201 阅读

相关 [scrapy] pycharm开发scrapy - scrapy项目目录介绍

文章目录 scrapy工程文件介绍开发scrapy步骤 scrapy工程文件介绍【scrapy工程文件介绍】 ArticleSpider

深藏阁楼爱情的钟/ 2022年03月22日 05:19/ 0 赞/ 342 阅读

相关在PyCharm内部运行Scrapy项目

刚刚接触 scrapy，发现一切的scrapy项目的运行都是在命令行进行的，虽然说调试的时候也很方便，但是每次打开项目去运行都需要打开命令行进入到项目目录里面再去运行，我个人认

小咪咪/ 2022年02月18日 23:39/ 0 赞/ 334 阅读

相关 Pycharm 导入scrapy项目

1. 创建scrapy项目在D盘根目录下新建Scrapy文件夹在cmd中进入Scrapy文件夹

深碍√TFBOYSˉ_/ 2021年09月23日 07:10/ 0 赞/ 451 阅读

相关 pycharm--安装Scrapy

在Pycharm中安装Scrapy 打开Pycharm,点击File->Setting，搜索interpreter，选择Project Interpreter 如图,点

曾经终败给现在/ 2021年09月23日 07:08/ 0 赞/ 560 阅读