终于有人把Scrapy爬虫框架讲明白了

女爷i 2022-11-18 02:06 220阅读 0赞

**导读：**Scrapy由Python语言编写，是一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取出结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等。

作者：赵国生 王健

来源：大数据DT（ID：hzdashuju）

![f34298c339051911a145a403d188ff4c.png][]

Scrapy是用纯Python语言实现的一个为爬取网站数据、提取结构性数据而编写的应用框架，Scrapy使用了Twisted异步网络框架来处理网络通信，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活地实现各种需求。

Scrapy可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中，其最初是为页面抓取（更确切地说是网络抓取）而设计的，也可以应用于获取API所返回的数据（例如Amazon Associates Web Services）或者通用的网络爬虫。

**01 Scrapy框架介绍**

关于Scrapy框架的最简单的安装方法是：

通过anaconda→environments→最右边界面的第一个选项all，在搜索框里搜索scrapy→选择安装。

或者在terminal或者cmd中使用pip安装就好。

# python 3+
    pip3 install scrapy

Scrapy内部实现了包括并发请求、免登录、URL去重等很多复杂操作，用户不需要明白Scrapy内部具体的爬取策略，只需要根据自己的需求去编写小部分的代码，就能抓取到所需要的数据。Scrapy框架如图8-1所示。

![6ebcba0a38076e79bec03346d23aec6c.png][]

▲图8-1 Scrapy框架

图8-1中带箭头的线条表示数据流向，首先从初始URL开始，**调度器**（Scheduler）会将其交给**下载器**（Downloader），下载器向**网络服务器**（Internet）发送服务请求以进行下载，得到响应后将下载的数据交给**爬虫**（Spider），爬虫会对网页进行分析，分析出来的结果有两种：一种是需要进一步抓取的链接，这些链接会被传回调度器；另一种是需要保存的数据，它们则被送到**项目管道**（Item Pipeline），Item会定义数据格式，最后由Pipeline对数据进行清洗、去重等处理，继而存储到文件或数据库。

**02 Scrapy框架详解**

Scrapy由Python语言编写，是一个快速、高层次的屏幕抓取和Web抓取框架，用于抓取Web站点并从页面中提取出结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试等。

**1. 框架内组件及作用**

Scrapy框架内包含的组件如下：

*  **爬虫中间件**（Spider Middleware）：位于Scrapy引擎和爬虫之间的框架，主要用于处理爬虫的响应输入和请求输出。
 *  **调度器中间件**（Scheduler Middleware）：位于Scrapy引擎和调度器之间的框架，主要用于处理从Scrapy引擎发送到调度器的请求和响应。
 *  **调度器：**用来接收引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。它就像是一个URL的优先队列，由它来决定下一个要抓取的网址是什么，同时在这里会去除重复的网址。
 *  **下载器中间件**（Downloader Middleware）：位于Scrapy引擎和下载器之间的框架，主要用于处理Scrapy引擎与下载器之间的请求及响应。代理IP和用户代理可以在这里设置。
 *  **下载器：**用于下载网页内容，并将网页内容返回给爬虫。
 *  **Scrapy引擎**（ScrapyEngine）：用来控制整个系统的数据处理流程，并进行事务处理的触发。
 *  **爬虫：**爬虫主要是干活的，用于从特定网页中提取自己需要的信息，即所谓的项目（又称实体）。也可以从中提取URL，让Scrapy继续爬取下一个页面。
 *  **项目管道：**负责处理爬虫从网页中爬取的项目，主要的功能就是持久化项目、验证项目的有效性、清除不需要的信息。当页面被爬虫解析后，将被送到项目管道，并经过几个特定的次序来处理其数据。

**2. Scrapy运行流程**

Scrapy运行流程如下：

1.  引擎从调度器中取出一个URL用于接下来的抓取；
2.  引擎把URL封装成一个请求（request）传给下载器；
3.  下载器把资源下载下来，并封装成一个响应（response）；
4.  爬虫解析响应；
5.  解析出的是项目，则交给项目管道进行进一步的处理；
6.  解析出的是链接URL，则把URL交给调度器等待下一步的抓取。

**3. 数据流向**

Scrapy数据流是由执行流程的核心引擎来控制的，流程如图8-2所示。

![552ae8126ed2fe17fe9148a977e0c8de.png][]

▲图8-2 框架组件数据流

1.  引擎打开网站，找到处理该网站的爬虫并向该爬虫请求第一个要爬取的URL。
2.  引擎从爬虫中获取到第一个要爬取的URL，并在调度器中以请求调度。
3.  引擎向调度器请求下一个要爬取的URL。
4.  调度器返回下一个要爬取的URL给引擎，引擎通过下载中间件转给下载器。
5.  一旦页面下载完毕，下载器便会生成一个该页面的响应，并通过下载器中间件将其发送给引擎。
6.  引擎从下载器中接收到响应并通过爬虫中间件发送给爬虫处理。
7.  爬虫处理响应，并返回爬取到的项目及新的请求给引擎。
8.  引擎将爬虫爬取到的项目传给项目管道，将爬虫返回的请求传给调度器。
9.  从第2步重复直到调度器中没有更多的请求，引擎便会关闭该网站。

**03 Scrapy框架中的Selector**

当我们取得了网页的响应之后，最关键的就是如何从繁杂的网页中把我们需要的数据提取出来，Python中常用以下模块来处理HTTP文本解析问题：

*  **BeautifulSoup：**作为程序员间非常流行的网页分析库，它通常基于HTML代码的结构来构造一个Python对象，对不良标记的处理也非常合理，但它有一个缺点，就是“慢”。
 *  **lxml：**一个基于ElementTree的Python化的XML解析库。

我们可以在Scrapy中使用任意熟悉的网页数据提取工具，如上面的两种，但是，Scrapy本身也为我们提供了一套提取数据的机制，我们称之为选择器Selector，它通过特定的XPath或者CSS表达式来选择HTML文件中的某个部分。

**XPath**是一门用来在XML文件中选择节点的语言，也可以用在HTML上。**CSS**是一门将HTML文档样式化的语言。选择器由它定义，并与特定的HTML元素的样式相关连。

Selector是基于lxml来构建的，支持XPath选择器、CSS选择器以及正则表达式，功能全面、解析速度快且和准确度高。

本文篇幅有限，具体实操案例请关注大数据DT后续内容推送，或查阅《Python网络爬虫技术与实战》一书第8章。查看更多爬虫干货文章，可关注大数据DT，在公众号后台对话框回复**爬虫**。

**关于作者：**赵国生，哈尔滨师范大学教授，工学博士，硕士生导师，黑龙江省网络安全技术领域特殊人才。主要从事可信网络、入侵容忍、认知计算、物联网安全等方向的教学与科研工作。

本文摘编自《Python网络爬虫技术与实战》，经出版方授权发布。

![405a2a07121fc3e2dcec2e1652be37f3.png][]

延伸阅读《Python网络爬虫技术与实战》

点击上图了解及购买

转载请联系微信：DoctorData

**推荐语：**本书是一本系统、全面地介绍Python网络爬虫的实战宝典。作者融合自己丰富的工程实践经验，紧密结合演示应用案例，内容覆盖了几乎所有网络爬虫涉及的核心技术。在内容编排上，一步步地剖析算法背后的概念与原理，提供大量简洁的代码实现，助你从零基础开始编程实现深度学习算法。

![音符][179eac0721865a3e277d6d1b3be5bbfe.gif]

**划重点????**

**干货直达????**

*  [盘点数据处理工具，手把手教你做数据清洗和转换][Link 1]  
    
 *  [Python高能小技巧：用海象操作符减少重复代码][Python]  
    
 *  [终于有人把3D打印讲明白了][3D]  
    
 *  [终于有人把内卷和囚徒困境讲明白了][Link 2]

**更多精彩****????**

在公众号对话框输入以下**关键词**

查看更多优质内容！

**PPT** | **读书** | **书单** | **硬核** | **干货**** **| **讲明白 **|** 神操作**

**大数据** | **云计算** | **数据库** | **Python** | **爬虫** | **可视化**

**AI** | **人工智能** | **机器学习** | **深度学习** | **NLP**

**5G**** **|** 中台 **|** 用户画像**** **| **1024** | **数学 **|** 算法 **| **数字孪生**

据统计，99%的大咖都关注了这个公众号

**????**

[f34298c339051911a145a403d188ff4c.png]: /images/20221022/7d6a6ae2502d4d6ab23408d78b7e45a8.png
[6ebcba0a38076e79bec03346d23aec6c.png]: /images/20221022/bea545cea7314876b126661591eb6cc5.png
[552ae8126ed2fe17fe9148a977e0c8de.png]: /images/20221022/9e4ebfec2a7b444e853e01be71719c2a.png
[405a2a07121fc3e2dcec2e1652be37f3.png]: /images/20221022/8ccf2ce6478443da9dda45dae8d2f9e5.png
[179eac0721865a3e277d6d1b3be5bbfe.gif]: /images/20221022/796ce29fcdc54622a1046d0e4baaeed1.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8c23d4dbfbaac2cfc3f553d8b9a898ebdf2c8688228c7dc04b6a619065e43c16967054a33d&idx=2&mid=2247526968&scene=21&sn=71dd2ccffd0d4f2212a3df2c6b13eff8#wechat_redirect
[Python]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8c2010dbfba90683b06c2c0f08601f2a4605d16dded04d976a06e36aaaeafe9a26d62f2f36&idx=2&mid=2247526908&scene=21&sn=1136aa2ce72a52d32cc500be4fa59804#wechat_redirect
[3D]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8c2017dbfba9012a9364ca6c0bb80d2e8c16a74ff098c6233898aa49c664226862fab372d9&idx=1&mid=2247526907&scene=21&sn=4076fdf381fc571e8332f32bb254f77c#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8c2016dbfba900fa84908206090ddd80ac00c32a3e88625212dfd7bfc424bb6d5b2943c0a8&idx=2&mid=2247526906&scene=21&sn=2cf29eba1be5cdc85cefed74d6825b9a#wechat_redirect