相关阅读
相关 爬虫日记(92)：Scrapy的下载结果回应分析
前面分析了HTTP协议发起请求的过程，这个过程是比较复杂的，因为要处理的东西比较多，不但要处理代理的问题，还需要处理协议的数据，以及设置回调的过程。这么多东西放在一起，肯定是比
ゝ一世哀愁。相关 爬虫日记(76)：Scrapy的命令行源码分析
前面已经分析怎么样获取环境变量、全局设置和项目设置的参数获取，接着下来就是分析怎么样得到scrapy工程命令行里所有支持的命令，以及判断命令行里输入的命令是否合法，合法之后又是
相关 爬虫日记(75)：Scrapy的Settings源码分析（二）
由于前面学习的例子可知，scrapy程序会加载内部缺省的参数，它是定义在scrapy\\settings目录下面，它的名称叫做default\_settings.py，里面的参
╰+哭是因爲堅強的太久メ相关 爬虫日记(74)：Scrapy项目配置参数源码分析
前面已经知道scrapy程序运行之后，会调用execute（）函数来执行，这是程序入口点，而在这个入口点的背后，第一步做的事情就是获得程序所有的配置参数，因为scrapy程序设
相关 爬虫日记(73)：Scrapy程序运行入口点分析
前面分析了怎么样产生scrapy.exe程序，然后通过它就会调用下一个模块，就是cmdline.py文件，它是位于目录scrapy里面，如下图： 
骑猪看日落相关 爬虫日记(75)：Scrapy的Settings源码分析
Scrapy有一个比较大的设计思路，就是任何模块都是可配置的，这样就会让系统更加灵活，也可以简化系统的复杂程度。所以需要设计一个比较复杂的Settings类，保存所有配置的参数
相关 爬虫日记(89)：Scrapy的DownloadHandlers类
前面分析了下载器的整个源码，理解了下载器的工作过程，在那里经常会遇到一个类，就是DownloadHandlers类，这个类主要用来对不同的下载协议进行管理的，比如文件协议和ht
相关 爬虫日记(78)：Scrapy的命令运行入口点
前面经历了从安装程序转到scrapy程序运行，再从scrapy程序开始读取配置参数，再到命令行里处理参数，这样就把前期的工程准备好了，接着就来到了最后的阶段，运行爬虫了。这个阶
红太狼
还没有评论，来说两句吧...