编写爬虫竟然成了“面向监狱编程”，就是因为不懂Robots协议（爬虫协议）

古城微笑少年丶 2022-11-07 13:27 169阅读 0赞

编写Python爬虫很容易，不过要想安全地编写Python爬虫，就需要了解更多的至少，不光是技术上的，还有法律上的，Robots协议就是其中之一，如果不了解Robots协议，抓取了不该抓取的东西，可能会面临牢狱之灾哦！

1. Robots协议简介

Robots协议也称作爬虫协议、机器人协议，它的全名是网络爬虫排除标准（Robots Exclusing Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取。该协议的内容通常放在一个名为robots.txt的文本文件中，该文件一般位于网站的根目录下。

注意，robots.txt文件中的内容只是告诉爬虫应该抓取什么，不应该抓取什么，但并不是通过技术手段阻止爬虫抓取那些被禁止的资源，而只是通知爬虫而已。尽管编写爬虫可以不遵循robots.txt文件的描述，但作为一只有道德、有文化、有纪律的爬虫，应该尽量遵循robots.txt文件描述的规则。否则，有可能会引起法律纠纷。

当爬虫访问一个网站时，首先会检查这个网址根目录下是否存在robots.txt文件，如果存在，爬虫就会根据该文件中定义的抓取范围来抓取Web资源。如果这个文件并不存在，爬虫就会抓取这个网站所有可直接访问的页面。

下面来看一个robots.txt文件的例子：

User-agent:*
    Disallow:/
    Allow:/test/

这个抓取规则首先告诉爬虫对所有的爬虫有效，而且除了test目录外的任何资源都不允许抓取。如果将这个robots.txt文件放在某个网站的根目录，那么搜索引擎的爬虫就会只抓取test目录下的资源，我们会发现搜索引擎中再也查不到其他目录下的资源了。

上面的User-agent描述了爬虫的名字，这里将其设置为\*，则表示对所有的爬虫有效，我们还可以特指某些爬虫，如下面的设置明确指定百度爬虫。

User-agent:BaiduSpider

robots.txt文件中有2个重要的授权指令：Disallow和Allow，前者表示禁止抓取，后者表示运行抓取。也就是说，Disallow是黑名单，Allow是白名单。 例如，下面是一些Robots协议的例子。

1. 禁止所有爬虫抓取网站所有的资源

User-agent:*
    Disallow:/

2. 禁止所有爬虫抓取网站/private和/person目录中的资源

User-agent: *
    Disallow: /private/
    Disallow:/person/

3. 只禁止百度爬虫抓取网站资源

User-agent:BaiduSpider
    Disallow:/

很多搜索引擎的爬虫都有特定的名称，表1列出了一些常用的爬虫名称。

表1 常用的爬虫名称

<table> 
 <tbody> 
 <tr> 
 <td>爬虫名称</td> 
 <td>搜索引擎</td> 
 <td>网站</td> 
 </tr> 
 <tr> 
 <td>Googlebot</td> 
 <td>谷歌</td> 
 <td>www.google.com</td> 
 </tr> 
 <tr> 
 <td>BaiduSpider</td> 
 <td>百度</td> 
 <td>www.baidu.com</td> 
 </tr> 
 <tr> 
 <td>360Spider</td> 
 <td>360搜索</td> 
 <td>www.so.com</td> 
 </tr> 
 <tr> 
 <td>Bingbot</td> 
 <td>必应</td> 
 <td>www.bing.com</td> 
 </tr> 
 </tbody> 
</table>

2. 分析Robots协议

Robots协议并不需要我们自己去分析，urllib库的robotparser模块提供了相应的API来解析robots.txt文件，这就是RobotFileParser类。可以用多种方式使用RobotFileParser类。例如，可以通过set\_url方法设置robots.txt文件的URL，然后进行分析，代码如下：

form urllib.robotparser import RobotFileParser
    robot = RobotFileParser()
    robot.set_url('https://www.jd.com/robots.txt')
    robot.read()
    print(robot.can_fetch('*','https://www.jd.com/test.js'))

其中can\_fetch方法用来获得该网站某一个URL根据Robots协议是否有权抓取，如果可以抓取，返回True，否则返回False。

RobotFileParser类的构造方法也可以接受一个URL，然后使用can\_fetch方法判断是否可以抓取某一个页面。

robot = RobotFileParser('https://www.jd.com/robots.txt')
    print(robot.can_fetch('*','https://www.jd.com/test.js'))

下面的案例使用了parse方法指定robots.txt文件的数据，并输出不同的URL是否允许抓取，这是另外一种使用RobotFileParser类的方式。

from urllib.robotparser import RobotFileParser
    from urllib import request
    robot = RobotFileParser()
    url = 'https://www.jianshu.com/robots.txt'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36',
        'Host': 'www.jianshu.com',
    }
    req = request.Request(url=url, headers=headers)
     
    # 抓取robots.txt文件的内容，并提交给parse方法进行分析
    robot.parse( request.urlopen(req).read().decode('utf-8').split('\n'))
    # 输出True
    print(robot.can_fetch('*','https://www.jd.com'))
    # 输出True
    print(robot.can_fetch('*','https://www.jianshu.com/p/92f6ac2c350f'))
    # 输出False
    print(robot.can_fetch('*','https://www.jianshu.com/search?q=Python&page=1&type=note'))

运行结果如下：

True
    True
    False

\- EOF -

推荐阅读  点击标题可跳转

[就凭这3点，可以完全理解Python的类方法与静态方法][3_Python]

[卧槽，好强大的魔法，竟能让Python支持方法重载][Python]

[Python装饰器（decorator）不过如此，是我想多了][Python_decorator]

[这样合并Python字典，可以让程序的运行效率提高4倍][Python_4]

[Python字典不是不可以排序，是你方法没用对！][Python 1]

[文件侠告诉你，Python复制文件的N种姿势！][Python_N]

[Python代码可以加密吗？Python字节码告诉你！][Python_Python]

[使出Python的六脉神剑，让Python拥有无限扩展性][Python_Python 1]

[看我用元类（metaclass）花式创建Python类][metaclass_Python]

[你不知道\_\_name\_\_变量是什么意思吗？][name]

[Python生成器（Generator）最完美解释][Python_Generator]

关注「极客起源」公众号，加星标，不错过精彩技术干货

![fa2105c7b0c1a8cd162f6e419347c3f2.png][]

[3_Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693cfc8a1eb5ea51fb99fc97182cf5f59a4b7c36644041f431d2173a862929fba72746bdec&idx=1&mid=2651365898&scene=21&sn=03c093f00e89884f0e2bb83e35f4ba8c#wechat_redirect
[Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f3b8a1eb62d3c68093e7bbc4664c877b9a1d561eae2fe28cc15b5ff97897578d43e3b65&idx=1&mid=2651365837&scene=21&sn=a50df8971721c4298579d98aa7db0011#wechat_redirect
[Python_decorator]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f568a1eb6400427ed936f0ba73feb70ef139da1a650529ac1d0606a69bee9aeaa6f5547&idx=1&mid=2651365792&scene=21&sn=9d969fea7030c5b6ffca79461be88ffd#wechat_redirect
[Python_4]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f948a1eb682cbbd11beac44afb562f92716142b61b286a95d44247fb0d421f062396460&idx=1&mid=2651365730&scene=21&sn=4ef4ab8e3f0dff7fa79fe8fffec0f088#wechat_redirect
[Python 1]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693f988a1eb68e3125393946e6050d9224c497324a082998ffd35f1876fe5f864d0b335b2e&idx=1&mid=2651365742&scene=21&sn=8d79163bb7b2d1b1a2132d10dbe75245#wechat_redirect
[Python_N]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693fb88a1eb6ae7b88f6943e7852693856ec5d94e0ae365ef3b4ba2dfd3c8df9e05c75eb2e&idx=1&mid=2651365710&scene=21&sn=fee949a85ccf358ee151f582e4a110a2#wechat_redirect
[Python_Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693fb68a1eb6a02a55a3387e881009abbffa24d3f128fee9715ee7d1184378fe816699a3b1&idx=1&mid=2651365696&scene=21&sn=b3e8106e2a5b49ed8a36014a89b814be#wechat_redirect
[Python_Python 1]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e4e8a1eb7587daf3d596210cd7ebb9abc53253da2757798a8232cea7c4e40b2caec5de4&idx=1&mid=2651365560&scene=21&sn=dfa01f756026cd4783f78289f47908e3#wechat_redirect
[metaclass_Python]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e518a1eb747ba5bfb1c95b7734ba6f003a3629c904e929265a28e2b7379064e05f4a59b&idx=1&mid=2651365543&scene=21&sn=49d128105f9cf0e60e6f29d37f4042db#wechat_redirect
[name]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e6d8a1eb77b7ea2c3dd5bc34365f6f16a9e311b171777275faf91ed355e73e4ce080580&idx=1&mid=2651365531&scene=21&sn=b13ae5e0b8b6513eb2b9ea37d7941643#wechat_redirect
[Python_Generator]: http://mp.weixin.qq.com/s?__biz=MjM5MzU1NzQwMQ%3D%3D&chksm=bd693e748a1eb762e07dcf354ac469e727e305d62b33647c833480ca09e407fec913ef4820c7&idx=1&mid=2651365506&scene=21&sn=7a8f298b48bec412b279188e9033853e#wechat_redirect
[fa2105c7b0c1a8cd162f6e419347c3f2.png]: /images/20221023/9ca04102ae8348cdb65b4e8b439039f7.png