【python实战】爬虫封你ip就不会了？ip代理池安排上

雨点打透心脏的1/2处 2021-09-08 13:58 370阅读 0赞

> 哈喽，大家好，我是一条。
> 
> 在线旅游这个行业，价格是永恒不变的战略，获取对方价格的有效手段就是爬虫。
> 
> 有爬虫就有反爬虫，最直接的就是封你ip，大门一关，”闭关锁国“。
> 
> 这时候找个替身无疑是最好的办法，用个障眼法躲过对方的排查。
> 
> 代理ip就是专门干这个的，先把请求发给代理ip，让代理ip替我们访问目标服务器。
> 
> 今天就教大家怎么打造自己的ip代理池。

## 代理ip网站 ##

以下代理网站均免费，所以质量你懂的

<table> 
 <thead> 
  <tr> 
   <th>代理名称</th> 
   <th>状态</th> 
   <th>更新速度</th> 
   <th>可用率</th> 
   <th>地址</th> 
   <th>代码</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>米扑代理</td> 
   <td>✔</td> 
   <td>★</td> 
   <td>*</td> 
   <td><a href="https://proxy.mimvp.com/" rel="nofollow">地址</a></td> 
   <td><code>freeProxy01</code></td> 
  </tr> 
  <tr> 
   <td>66代理</td> 
   <td>✔</td> 
   <td>★★</td> 
   <td>*</td> 
   <td><a href="http://www.66ip.cn/" rel="nofollow">地址</a></td> 
   <td><code>freeProxy02</code></td> 
  </tr> 
  <tr> 
   <td>Pzzqz</td> 
   <td>✔</td> 
   <td>★</td> 
   <td>*</td> 
   <td><a href="https://pzzqz.com/" rel="nofollow">地址</a></td> 
   <td><code>freeProxy03</code></td> 
  </tr> 
  <tr> 
   <td>神鸡代理</td> 
   <td>✔</td> 
   <td>★★★</td> 
   <td>*</td> 
   <td><a href="http://www.shenjidaili.com/" rel="nofollow">地址</a></td> 
   <td><code>freeProxy04</code></td> 
  </tr> 
  <tr> 
   <td>快代理</td> 
   <td>✔</td> 
   <td>☆</td> 
   <td>*</td> 
   <td><a href="https://www.kuaidaili.com/" rel="nofollow">地址</a></td> 
   <td><code>freeProxy05</code></td> 
  </tr> 
  <tr> 
   <td>极速代理</td> 
   <td>✔</td> 
   <td>★★★</td> 
   <td>*</td> 
   <td><a href="https://proxy.coderbusy.com/" rel="nofollow">地址</a></td> 
   <td><code>freeProxy06</code></td> 
  </tr> 
  <tr> 
   <td>云代理</td> 
   <td>✔</td> 
   <td>★</td> 
   <td>*</td> 
   <td><a href="http://www.ip3366.net/" rel="nofollow">地址</a></td> 
   <td><code>freeProxy07</code></td> 
  </tr> 
  <tr> 
   <td>小幻代理</td> 
   <td>✔</td> 
   <td>★★</td> 
   <td>*</td> 
   <td><a href="https://ip.ihuan.me/" rel="nofollow">地址</a></td> 
   <td><code>freeProxy08</code></td> 
  </tr> 
  <tr> 
   <td>免费代理库</td> 
   <td>✔</td> 
   <td>☆</td> 
   <td>*</td> 
   <td><a href="http://ip.jiangxianli.com/" rel="nofollow">地址</a></td> 
   <td><code>freeProxy09</code></td> 
  </tr> 
  <tr> 
   <td>89代理</td> 
   <td>✔</td> 
   <td>☆</td> 
   <td>*</td> 
   <td><a href="https://www.89ip.cn/" rel="nofollow">地址</a></td> 
   <td><code>freeProxy13</code></td> 
  </tr> 
  <tr> 
   <td>西拉代理</td> 
   <td>✔</td> 
   <td>★★</td> 
   <td>*</td> 
   <td><a href="http://www.xiladaili.com/" rel="nofollow">地址</a></td> 
   <td><code>freeProxy14</code></td> 
  </tr> 
 </tbody> 
</table>

## 实现思路 ##

1.利用`requests`获取对应地址的`respond`

2.`xpath`解析返回值

3.访问指定网址（比如百度）判断ip是否可用

4.将可用的ip存入文件

5.将脚本放到服务器，设置定时任务，每天爬取最新可用ip

## 部分代码 ##

> 完整代码微信搜【一条IT】

# -*- coding: utf-8 -*-
    # Date: 2021/6/5 11:14
    # Author: libiao
    # wechat: 一条IT
    # Software: PyCharm
    import re
    import time
    import requests
    from webRequest import WebRequest
    
    def getHtml(proxy):
        # ....
        retry_count = 1
        while retry_count > 0:
            try:
                html = requests.get('http://www.baidu.com', proxies={ "http": "http://{}".format(proxy)})
                # 使用代理访问
                print(html)
            except Exception as e:
                print(e)
            retry_count -= 1
    def freeProxy01():
        """ 米扑代理 https://proxy.mimvp.com/ :return: """
        url_list = [
            'https://proxy.mimvp.com/freeopen',
            'https://proxy.mimvp.com/freeopen?proxy=in_tp'
        ]
        iplist=[]
        port_img_map = { 'DMxMjg': '3128', 'Dgw': '80', 'DgwODA': '8080',
                        'DgwOA': '808', 'DgwMDA': '8000', 'Dg4ODg': '8888',
                        'DgwODE': '8081', 'Dk5OTk': '9999'}
    
        for url in url_list:
            html_tree = WebRequest().get(url).tree
            for tr in html_tree.xpath(".//table[@class='mimvp-tbl free-proxylist-tbl']/tbody/tr"):
                try:
                    ip = ''.join(tr.xpath('./td[2]/text()'))
                    port_img = ''.join(tr.xpath('./td[3]/img/@src')).split("port=")[-1]
                    port = port_img_map.get(port_img[14:].replace('O0O', ''))
                    if port:
                        ipPort=ip+":"+port
                        print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()),ipPort)
                        getHtml(ipPort)
                except Exception as e:
                    print(e)
    
    def freeProxy02():
        """ 代理66 http://www.66ip.cn/ :return: """
        url = "http://www.66ip.cn/mo.php"
        resp = WebRequest().get(url, timeout=10)
        proxies = re.findall(r'(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}:\d{1,5})', resp.text)
        for proxy in proxies:
            print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()),proxy)
            getHtml(proxy)
    def freeProxy04():
        """ 神鸡代理 http://www.shenjidaili.com/ :return: """
        url = "http://www.shenjidaili.com/product/open/"
        tree = WebRequest().get(url).tree
        for table in tree.xpath("//table[@class='table table-hover text-white text-center table-borderless']"):
            for tr in table.xpath("./tr")[1:]:
                proxy = ''.join(tr.xpath("./td[1]/text()")).strip()
                print(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()),proxy)
                getHtml(proxy)
    if __name__ == '__main__':
        # freeProxy02()
        with open("proxyPool"，"a+") as f:
            iplist=f.readlines()
        for ip in iplist:
            print(ip)
            getHtml(ip.strip())

## linux定时任务 ##

crontab -e  编辑定时任务 按i进入编辑
    
    crontab -l  查询所有的定时任务
    
    crontab文件格式：
    
      *      *       *      *       *        filename
    
    minute   hour    day   month   week      filename
    
    分          时         天      月        星期       脚本文件
    
    如果想每分钟都执行一次的话就采用默认的 * * * * *
    如果想每五分钟执行一次可以 */5 * * * * 
    如果是每两个小时执行一次的话就是 *  */2 * * *来

**示例**

![img][]

上图的意思是每天9：20执行 /gis/home/syncScripts/gs\_zb.sh脚本

## 最后 ##

以上，代理ip池构建完成，放在服务器上每天重跑。没有服务器的同学可参考这篇

[阿里云服务器购买及SSH免密登录][SSH]

--------------------

*感谢各位粉丝的支持，一条最近工作上遇到些困难，更新可能会比较慢，大约半个月后会恢复正常。*

我是**一条**，一个在互联网摸爬滚打的程序员。

**道阻且长，行则将至**。大家的 **【点赞，收藏，关注】** 就是一条创作的最大动力，我们下期见！

注：关于本篇博客有任何问题和建议，欢迎大家留言！

[img]: /images/20210901/ad4ca21df21b4bbe8b0b77d4e36da37d.png
[SSH]: https://blog.csdn.net/skylibiao/article/details/109729785