Scrapy 基本使用

旧城等待， 2023-10-10 17:49 22阅读 0赞

### 一、Scrapy框架使用 ###

**1. 创建scrapy项目**（不能有汉字，不能数字开头）

> scrapy startproject **Baidu**

**2. 创建爬虫文件**

> 1. cd **Baidu**
> 
> 2. scrapy genspider **wenda www.baidu.com**

![eb9813f955154f23b301f7e299c5e082.png][]

注意： parse()是执行了start\_url之后要执行的方法，方法中的response就是返回的对象。相当于response = requests.get或requests.post

**3. 运行爬虫代码**

> scrapy crawl wenda

在parse（）函数打印一句话，运行后发现没有打印结果，原因是被一个叫robots.txt的文件给阻止了。

![7d6b1f5b3c44462e97843dc5e2c15335.png][]

**解决：大平台的君子协议，只需在settings里将ROBOTSTXT\_OBEY = True注释掉即可。**

![b9ce4fcbf6514a908e45ebb8e51be1d1.png][]

再次运行

![6fdbf9bc7b1149cba8aabc1e60c5776e.png][] **4. scrapy文档**

>     scrapy官网：https://scrapy.org/ 
>     
>     scrapy文档：https://doc.scrapy.org/en/latest/intro/tutorial.html 
>     
>     scrapy日志：https://docs.scrapy.org/en/latest/news.html

### 二、scrapy项目的结构 ###

![18a91ef6f73e44de83d440a1e662400a.png][]

### 四、response的属性和方法 ###

> 1.  response.text 获取响应的字符串(源码)
> 2.  response.body 获取响应的二进制数据(二进制源码)
> 3.  response.xpath 直接通过xpath解析response中的内容
> 4.  response.extract() 提取selector对象的data所有属性值
> 5.  response.extract\_first() 提取selector列表的第一个数据
> 6.  response.get() : 得到第一条数据
> 7.  response.getall() :取出所有的数据，以列表的方式呈现

### 五、scrapy工作原理 ###

> 1.  引擎向spiders要url
> 2.  引擎将要爬取的url给调度器
> 3.  调度器会将url生成请求对象放入到指定的队列中
> 4.  从队列中出队一个请求
> 5.  引擎将请求交给下载器处理
> 6.  下载器发送请求获取互联网数据
> 7.  下载器将数据返回给引擎
> 8.  引擎将数据再次给spiders
> 9.  spiders通过xpath解析该数据，得到数据或url
> 10. spiders将数据或url给到引擎
> 11. 引擎判断是数据还是url，若是数据，交给管道处理；若是url，交给调度器处理

![9d13741c99b041e481e9a4aadda517e7.png][]

[eb9813f955154f23b301f7e299c5e082.png]: https://img-blog.csdnimg.cn/eb9813f955154f23b301f7e299c5e082.png
[7d6b1f5b3c44462e97843dc5e2c15335.png]: https://img-blog.csdnimg.cn/7d6b1f5b3c44462e97843dc5e2c15335.png
[b9ce4fcbf6514a908e45ebb8e51be1d1.png]: https://img-blog.csdnimg.cn/b9ce4fcbf6514a908e45ebb8e51be1d1.png
[6fdbf9bc7b1149cba8aabc1e60c5776e.png]: https://img-blog.csdnimg.cn/6fdbf9bc7b1149cba8aabc1e60c5776e.png
[18a91ef6f73e44de83d440a1e662400a.png]: https://img-blog.csdnimg.cn/18a91ef6f73e44de83d440a1e662400a.png
[9d13741c99b041e481e9a4aadda517e7.png]: https://img-blog.csdnimg.cn/9d13741c99b041e481e9a4aadda517e7.png