Scrapy常用的命令

短命女 2022-05-15 08:30 186阅读 0赞

1.查看帮助命令  
scrapy -h  
scrapy –help

2.查看版本信息  
scrapy version  
scrapy version -v

3.全局命令和项目命令文档截图  
![这里写图片描述][70]

4.全局命令

a)创建项目（startproject）  
scrapy startproject testproject  
![这里写图片描述][70 1]

b)创建蜘蛛，默认模板basic，一个项目可以创建多个蜘蛛(genspider)  
cd testpeoject  
scrapy genspider testspider baidu.com  
scrapy list  
所有模板：  
basic 基础  
crawl自动爬虫  
csvfeed用来处理csv文件  
xmlfeed用来处理xml文件  
模板命令：scrapy genspider -t basic testspider www.baidu.com，创建了一个带模板的testspider蜘蛛  
![这里写图片描述][70 2]

c)运行蜘蛛（runspider）  
命令行切换到spiders文件夹下，然后runspider  
scrapy runspider testspider.py

d)交互式终端(shell)  
进入终端：scrapy shell ‘www.baidu.com’  
查看状态： response  
显示网页html:response.text  
xpath匹配数据：response.xpath(‘//div\[@class=”head\_wrapper”\]’)  
退出终端：exit()  
![这里写图片描述][70 3]

e)打印heml(fetch）  
scrapy fetch –nolog [http://www.example.com/some/page.html][http_www.example.com_some_page.html]

f)本地查看网页(view)  
查看本地豆瓣主页，文件保存在本地，可加载动态js，提供网页动态数加载分析：scrapy view [https://www.douban.com][https_www.douban.com]

g)查看版本信息(version)  
scrapy version -v  
i)查看配置文件节点（settings）  
scrapy settings –get BOT\_NAME

5.项目命令（目录切换到项目目录下）  
a).运行蜘蛛（crawl）  
scrapy crawl testspider

b).测试爬虫，编译是否由错误(check)  
scrapy check testspider  
![这里写图片描述][70 4]

c).显示所有蜘蛛  
scrapy list

d).编辑器打开爬虫(edit)  
scrapy edit testspider

e).执行请求后，回调函数，yield到Item(parse)  
scrapy parse [http://www.example.com/][http_www.example.com] \-c TestprojectItem  
![这里写图片描述][70 5]

f).测试本地硬件性能(bench)  
scrapy bench

[70]: /images/20220515/f9f70c18006a46fb8e624abcd8a69097.png
[70 1]: /images/20220515/1690280c4f1448a4a82243ce0c6e1eb3.png
[70 2]: /images/20220515/fa0012d020d44fcb8cb6167f555f5994.png
[70 3]: /images/20220515/49df933694e34f9d889e396d9f4e6c3f.png
[http_www.example.com_some_page.html]: http://www.example.com/some/page.html
[https_www.douban.com]: https://www.douban.com
[70 4]: /images/20220515/484c36dd682b42bf807b671c60fe4e29.png
[http_www.example.com]: http://www.example.com/
[70 5]: /images/20220515/15da94b1ce3d4c6ea47f2dbb56869db7.png