相关阅读
相关 爬虫日记(91)：Scrapy的ScrapyAgent类
从前面的HTTP11DownloadHandler类分析可知，它是调用ScrapyAgent类来处理具体的HTTP或HTTPS的协议来下载网页数据。如下调用过程： 
喜欢ヅ旅行相关 爬虫日记(89)：Scrapy的DownloadHandlers类
前面分析了下载器的整个源码，理解了下载器的工作过程，在那里经常会遇到一个类，就是DownloadHandlers类，这个类主要用来对不同的下载协议进行管理的，比如文件协议和ht
相关 爬虫日记(88)：Scrapy的Downloader类（三）
接着下来我们来分析下载的过程以及数据返回之后的处理，在这个过程里要小心地安排处理的步骤，否则会比较容易出错。 ![watermark_type_ZmFuZ3poZW5naGV
相关 爬虫日记(85)：Scrapy的ExecutionEngine类（四）
接着下来我们来分析spider\_is\_idle函数，这个函数用来判断蜘蛛类是否处于空闲状态： ![20210604183135328.png][] 第189行判断下载回
￡神魔★判官ぃ相关 爬虫日记(85)：Scrapy的ExecutionEngine类（三）
接着下来我们来分析\_next\_request\_from\_scheduler函数，这个函数主要实现从调度器里获得下载请求，然后把请求下载再放到下载器里去下载。实现这部分的
相关 爬虫日记(85)：Scrapy的ExecutionEngine类（二）
前面可以看到一开始打开蜘蛛类有一次触发调度之外，还有下载数据返回之后进行一次调度。如果中间有调度没有准备好，或者队列满了，这样不会产生有新的下载，那么怎么样再次触发调度发生呢？
怼烎@相关 爬虫日记(85)：Scrapy的ExecutionEngine类（一）
前面分析了Crawler类，这个类实现了爬虫创建和运行管理，同时也是一个爬虫的公共类，可以把这个类传送到各个类中去使用。紧接着就会把控制权交给下一个类ExecutionEngi
相关 爬虫日记(84)：Scrapy的Crawler类（三）
前面完成Crawler类的构造函数分析，接着下来我们来分析这个类的第一个开始调用的函数，Crawler类被创建之后，就会立即调用crawl函数，代码如下： class Cra
刺骨的言语ヽ痛彻心扉相关 爬虫日记(83)：Scrapy的CrawlerProcess类(三）
前面完成了CrawlerRunner类构造函数的分析，接着从哪里继续开始呢？我想应该按顺序执行的主线来进行，可以从之前运行的命令里看到执行下面的函数： class Comma
Bertha 。相关 爬虫日记(86)：Scrapy的Scheduler类（三）
前面已经分析过入队的情况，进入队列时，会根据请求的内容来生成一个数字指纹，如果两个数字指纹一样，那么就可以丢掉这个请求，这样就可以防止重复的请求，这样可以提高效率。接着下来，我
还没有评论，来说两句吧...