python爬虫——简单三个反反爬虫

我会带着你远行 2021-11-23 00:46 578阅读 0赞

爬虫、反爬虫、反反爬虫一直在更新换代  
现在我还弄不来绕过验证码，所以介绍最简单的三个方式  
创建一个 [setting.py][] 存放一些 字典

## 1、请求延时 ##

当访问突增异常时，特别是开多线程爬取，很容易被封 IP，所以最简单的就是给程序延时，隔一段时间才爬取

import time
    #延时5秒
    time.slepp(5)

## 2、更换请求头的 User-Agent ##

Refer、Cookie都是固定的多次使用肯定被封，所以就只能更改User\_Agent。  
User-Agent是Http协议中的一个字段，其作用是描述发出Http请求的终端的一些信息。  
伪装浏览器的user-agent是一个不错的主意，因为浏览器是任何人都可以用的，换句话说，就是没有固定IP。推荐准备若干个浏览器的user-agent，然后每次发送请求的时候就从这几个user-agent中随机选一个填上去。  
在 [setting.py][] 写入这些

User_Agent_List = [
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1",
        "Mozilla/5.0 (X11; CrOS i686 2268.111.0) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1092.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.6 (KHTML, like Gecko) Chrome/20.0.1090.0 Safari/536.6",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/19.77.34.5 Safari/537.1",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.9 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.0) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.36 Safari/536.5",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1063.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1062.0 Safari/536.3",
        "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.1 Safari/536.3",
        "Mozilla/5.0 (Windows NT 6.2) AppleWebKit/536.3 (KHTML, like Gecko) Chrome/19.0.1061.0 Safari/536.3",
        "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24",
        "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535.24 (KHTML, like Gecko) Chrome/19.0.1055.1 Safari/535.24"
    ]

**然后再其它文件中调用，因为要随机，所以要用到随机库**

import setting
    import random
    User_Agent = random.choice(setting.User_Agent_List)
    headers = {
        "User-Agent": User_Agent
    }

## 3、更换代理IP ##

如果一个固定的IP在短暂的时间内快速访问一个网站，可能会被服务监控平台检测异常，被列入IP黑名单，限制访问。市场上也存在对已知针对性风险的检测，所以使用IP代理需要不断更替变化。  
在 [setting.py][] 写入这些，从网上爬下来的免费代理IP（时效很短，练手用一下），也可以有自己创建网上有项目教程

IP_List = [
        "61.164.39.67:53281",
        "220.180.156.53:8060",
        "123.56.74.221:80",
        "183.196.170.247:9000",
        "114.239.253.141:61234",
        "113.128.8.28:9999",
        "140.143.142.200:1080",
        "36.25.243.50:80",
        "27.208.93.71:8060",
        "47.106.216.42:8000",
        "47.107.134.197:8000",
        "111.3.154.196:8060",
        "36.255.87.235:83",
        "113.121.22.63:9999",
        "123.206.220.200:8888",
    ]

**然后再其它文件中调用，因为要随机，所以要用到随机库**

ip = random.choice(setting.IP_List)
    proxies = {
        "http": ip
    }

## main主函数 ##

import requests
    import random
    import setting
    
    
    if __name__ == "__main__":
        while True:
            url = "https://flights.ctrip.com/itinerary/api/12808/products"
            User_Agent = random.choice(setting.User_Agent_List)
            headers = {
                "User-Agent": User_Agent
            }
            ip = random.choice(setting.IP_List)
            proxies = {
                "http": ip
            }
            print(headers)
        	print(proxies)
            response = requests.post(url, headers=headers, proxies=proxies)
            print(response.status_code)
            print("")

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70]

## 总结 ##

爬取12306到处都是验证码，所以需要了解怎么绕过验证码了。

[setting.py]: http://setting.py
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjEwOTAxMg_size_16_color_FFFFFF_t_70]: /images/20211122/98decc241e08493787ba028dcf82741b.png