Python之Scrapy爬虫库

妖狐艹你老母 2024-04-19 10:18 75阅读 0赞

1.基本命令：

见之前博客：[https://blog.csdn.net/machi1/article/details/100042830][https_blog.csdn.net_machi1_article_details_100042830]

2.实例：

1.  在D盘创建一个文件夹testScrapy。
2.  在命令行中将目录切换至testScrapy中。
3.  在命令行中写scrapy startproject one来创建一个scrapy项目，其中one为项目名，可任意
4.  cd one，切换到该工程目录中
5.  scrapy genspider baidu baidu.com来创建一个爬虫，在上述命令中，baidu是项目名，baidu.com是要爬取的网址url，也就是start\_urls
6.  使用完该命令后会在spiders目录中多出一个baidu.py文件，接下来需要在该文件中编写爬虫的逻辑代码

3.生成的工程目录：

one/ 外层目录

scrapy.cfg 部署scrapy爬虫的配置文件

one/ scrapy框架的用户自定义python代码

\_\_init\_\_.py 初始化脚本

items.py Items代码模板（继承类）

middlewares.py Middlewares迪马模板(继承类)

pipelines.py pipelines代码模板(继承类）

settings.py scrapy爬虫的配置文件

spiders/ spiders代码模板目录(继承类)

4.发现了一篇介绍ItemLoader特别详细的文章：[https://blog.csdn.net/zwq912318834/article/details/79530828][https_blog.csdn.net_zwq912318834_article_details_79530828]

5.scrapy框架结构

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hY2hpMQ_size_16_color_FFFFFF_t_70][]

[https_blog.csdn.net_machi1_article_details_100042830]: https://blog.csdn.net/machi1/article/details/100042830
[https_blog.csdn.net_zwq912318834_article_details_79530828]: https://blog.csdn.net/zwq912318834/article/details/79530828
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21hY2hpMQ_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/bf22b7c66daf46ebadfe4aa7cabb0a2c.png