遇到网站的反爬虫机制，那么我们应该来如何应对呢？

以你之姓@ 2023-02-13 11:35 6阅读 0赞

![遇到网站的反爬虫机制，那么我们应该来如何应对呢？][format_png]

# 前言 #

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

# 1、使用代理 #

适用情况：限制IP地址情况，也可解决由于“频繁点击”而需要输入验证码登陆的情况。

这种情况最好的办法就是维护一个代理IP池，网上有很多免费的代理IP，良莠不齐，可以通过筛选找到能用的。对于“频繁点击”的情况，我们还可以通过限制爬虫访问网站的频率来避免被网站禁掉。

proxies = {'http':'http://XX.XX.XX.XX:XXXX'}
    Requests：
      import requests
      response = requests.get(url=url, proxies=proxies)
    Urllib2：
      import urllib2
      proxy_support = urllib2.ProxyHandler(proxies)
      opener = urllib2.build_opener(proxy_support, urllib2.HTTPHandler)
      urllib2.install_opener(opener) # 安装opener，此后调用urlopen()时都会使用安装过的opener对象
      response = urllib2.urlopen(url)

# 2、时间设置 #

适用情况：限制频率情况。

Requests，Urllib2都可以使用time库的sleep()函数：

import time
    time.sleep(1)

# 3、伪装成浏览器，或者反“反盗链” #

有些网站会检查你是不是真的浏览器访问，还是机器自动访问的。这种情况，加上User-Agent，表明你是浏览器访问即可。有时还会检查是否带Referer信息还会检查你的Referer是否合法，一般再加上Referer。

headers = {'User-Agent':'XXXXX'} # 伪装成浏览器访问，适用于拒绝爬虫的网站
    headers = {'Referer':'XXXXX'}
    headers = {'User-Agent':'XXXXX', 'Referer':'XXXXX'}
    Requests：
      response = requests.get(url=url, headers=headers)
    Urllib2：
      import urllib, urllib2   
      req = urllib2.Request(url=url, headers=headers)
      response = urllib2.urlopen(req)

欢迎点击左上角关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。

[format_png]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvZGZpYy1pbWFnZWhhbmRsZXIvOWRjYTU3YzYtODY2OC00YzMxLTg0YjAtMzM4NzA0ODg0M2Ni?x-oss-process=image/format,png