Scrapy架构概述，了解一下

心已赠人 2021-09-15 15:56 253阅读 0赞

![这里写图片描述][scrapy_architecture_02.png]

官方文档给出的图片

--------------------

# 组件 #

middleware 中间件

spiders 爬虫，爬取网页，自定义解析爬取的数据  
engine 引擎，也就是框架核心处理的部分  
scheduler 调度器，调度发起的请求的，框架采用的是异步请求  
downloader 下载 ，  
item pipelines 管道，用来处理解析数据，进行存储数据等操作

--------------------

# 流程 #

1、spiders向engine发出request  
2、engine将request放入scheduler中，有个表的图标，应该想说明的是请求是异步的把  
3、scheduler取出request交给engine  
4、engine发送通过中间件把request发给downloader，  
5、downloader会生成一个Response（带有该页面）并将其通过中间件（请参阅 参考资料process\_response()）发送到Engine，  
6、engine 把通过 downloader 中间件接收来自downloader 的 response  
通过爬虫中间件（见process\_spider\_input()）并将其发送给爬虫处理，  
7、spiders 通过中间件（见 process\_spider\_output()），  
把处理响应后的item 或 request 发送给engine，  
8、engine把要处理的item发送给 itempipelines，  
把可能爬取的请求的交给scheduler，

该过程重复（从步骤1开始），直到调度程序不再有请求为止 。

--------------------

> Event-driven networking  
> Scrapy is written with Twisted, a popular event-driven networking framework for Python. Thus, it’s implemented using a non-blocking (aka asynchronous) code for concurrency.  
> 框架采用Twisted异步请求，抽空了解下  
> 官网  
> [https://doc.scrapy.org/en/latest/topics/architecture.html][https_doc.scrapy.org_en_latest_topics_architecture.html]  
> 高人总结  
> [https://www.cnblogs.com/kongzhagen/p/6549053.html][https_www.cnblogs.com_kongzhagen_p_6549053.html]

[scrapy_architecture_02.png]: /images/20210813/263b07f84bdd458cacf0336975e50edd.png
[https_doc.scrapy.org_en_latest_topics_architecture.html]: https://doc.scrapy.org/en/latest/topics/architecture.html
[https_www.cnblogs.com_kongzhagen_p_6549053.html]: https://www.cnblogs.com/kongzhagen/p/6549053.html