Python爬虫学习记录——9.爬虫工程化及Scrapy框架初窥

r囧r小猫 2023-06-10 09:27 43阅读 0赞

### 文章目录 ###

*   *  Python适合做爬虫的原因
     *  爬虫的知识体系
     *  Scrapy框架简介
     *  Scrapy的工作流程

## Python适合做爬虫的原因 ##

*  语言本身简单，适合敏捷开发
 *  有比较完善的工具链
 *  足够灵活，以应对各种突然状况

## 爬虫的知识体系 ##

*  前端相关知识：html，css，js；浏览器相关知识；
 *  各种数据库的运用；
 *  http协议的了解；
 *  对于前后台联动的方案；

## Scrapy框架简介 ##

**什么是Scrapy框架？**  
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

**使用Scrapy框架爬取数据与使用Requests+Xpath爬取数据，区别是什么？**

1.  入门requests+Xpath相对来说更加简单，更能摸清爬虫每个详细的步骤。当你只是简单的爬取小量的网页（几千页），而不喜欢配置Scrapy框架繁重的设置，那requests+Xpath是不可多得的利器
2.  requests+Xpath能够实现的功能，scrapy也能便捷地实现。scrapy是一个功能非常强大的爬虫框架，它不仅能便捷地构建request，还有强大的selector能够方便地解析response
3.  然而最受欢迎的还是Scrapy的性能，即抓取和解析的速度。它的downloader是多线程的，request是异步调度和处理的。这两点使它的爬取速度非常之快。另外还有内置的logging，exception，shell等模块，为爬取工作带来了很多便利，使你的爬虫标准化和工程化。

**Scrapy的组件**

*  **引擎(Engine)**：用来处理整个系统的数据流，触发事务(框架核心)
 *  **调度器(Scheduler)**：用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回。可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列，由它来决定下一个要抓取的网址是什么，同时去除重复的网址
 *  **下载器(Downloader)**：用于下载网页内容，并将网页内容返回给引擎(Scrapy下载器是建立在twisted这个高效的异步模型上的)
 *  **爬虫(Spiders)**：爬虫是主要干活的，用于从特定的网页中提取自己需要的信息，即所谓的实体（Item）。也可以从中提取出链接，让Scrapy继续抓取下一个页面
 *  **项目管道(Item Pipelines)**：负责处理爬虫从网页中抽取的（Item），主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据，并保存数据
 *  **下载器中间件(Downloader Middlewares)**：位于Scrapy引擎和下载器之间的框架，主要是处理Scrapy引擎与下载器之间的请求及响应，是进行反反爬工作的重点
 *  **爬虫中间件(Spider Middlewares)**：介于Scrapy引擎和爬虫之间的框架，主要工作是处理蜘蛛的响应输入和请求输出

## Scrapy的工作流程 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70]  
**Scrapy运行流程**

1.  Spiders发送第一个URL给引擎
2.  引擎从Spider中获取到第一个要爬取的URL后，在调度器(Scheduler)以Request调度
3.  调度器把需要爬取的request返回给引擎
4.  引擎将request通过下载中间件发给下载器(Downloader)去互联网下载数据
5.  一旦数据下载完毕，下载器获取由互联网服务器发回来的Response，并将其通过下载中间件发送给引擎
6.  引擎从下载器中接收到Response并通过Spider中间件发送给Spider处理
7.  pider处理Response并从中返回匹配到的Item及(跟进的)新的Request给引擎
8.  引擎将(Spider返回的)爬取到的Item给Item Pipeline做数据处理或者入库保存，将(Spider返回的)Request给调度器入队列
9.  (从第三步)重复直到调度器中没有更多的request

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTUxNjU5_size_16_color_FFFFFF_t_70]: /images/20230531/02b3ffc318d149bdac98173f66ed3fb5.png