Python如何爬取免费爬虫ip

桃扇骨 2024-04-24 23:23 90阅读 0赞

做过大数据抓取的程序员应该都知道，正常市面上的爬虫ip只分为两种，一种是API提取式的，还有一种是账密形式隧道模式的。往往因为高昂费用而止步。对于初学者觉得没有必要，我们知道每个卖爬虫ip的网站有的提供了免费IP，可是又很少，写了个爬虫ip池 。学习应该就够了。

**爬虫ip池：**  
1，在各大网站爬取免费爬虫ip  
2，检查ip可用 可用存入数据库1和2  
3，在数据库1中拿出少量爬虫ip存入数据库2（方便维护）  
4，定时检查数据库1和数据库2的爬虫ip数量，以及是否可用  
5，调用端口

**1、各大网站爬取免费爬虫ip**

1 def IPList_61():
     2   for q in [1,2]:
     3       url='http://jshk.com.cn/'+str(q)+'.html'
     4       html=Requestdef.get_page(url)
     5       if html!=None:
     6           #print(html)
     7           iplist=BeautifulSoup(html,'lxml')
     8           iplist=iplist.find_all('tr')
     9           i=2
    10           for ip in iplist:
    11              if i<=0:
    12                  loader=''
    13                  #print(ip)
    14                  j=0
    15                  for ipport in ip.find_all('td',limit=2):
    16                      if j==0:
    17                         loader+=ipport.text.strip()+':'
    18                      else:
    19                          loader+=ipport.text.strip()
    20                      j=j+1
    21                  Requestdef.inspect_ip(loader)
    22              i=i-1
    23       time.sleep(1)

**多写几个这样的方法**

2，检查ip可用 可用存入数据库1，和2。

3，在数据库1中拿出少量爬虫ip存入数据库2（方便维护）。

def inspect_ip(ipprot):
     2     time.sleep(1)
     3     herder={
     4         "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36",
     5         'Accept-Encoding':'gzip, deflate',
     6         'Accept-Language':'zh-CN,zh;q=0.9',
     7         'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
     8         'Upgrade-Insecure-Requests':'1'
     9
    10     }
    11
    12     url='https://www.baidu.com'
    13     proxies = { "http": "http://"+str(ipprot) }
    14     request=requests.get(url,headers=herder,proxies=proxies)
    15     if request.status_code==200:
    16         print('可用爬虫ip'+ipprot)
    17         if Db.r.llen('Iplist')<=50:
    18            Db.add_ip(ipprot)
    19         #Alt.iplist.append(ipprot)
    20
    21         else:
    22            Db.add_ips(ipprot)
    23     else:
    24         print('不可用爬虫ip'+ipprot)

我这里是用的www.baidu.com检测的 给主IP的数据库长度是50 （太多了不好维护）。

**4、定时检查数据库1和数据库2的爬虫ip数量，以及是否可用**

#检查ip池数量
    def time_ip():
     
        while True:
            time.sleep(5)
            Db.act_lenip()
     
    #检查备用池数量
    def time_ips():
        while True:
            time.sleep(30)<br>        #当备用池数量小于100 再次获取
            if Db.len_ips()<100:
                print('填数据')
                Acting_ip.iplist()
    #程序入口
    if __name__ == '__main__':
     
      t1=threading.Thread(target=time_ip)
      t1.start()
      t2=threading.Thread(target=time_ips)
      t2.start()
      t1.join()
      t2.join()

**给他2个线程  
Db.py**

1 #coding:utf-8
     2 import redis
     3 import Requestdef
     4 r = redis.Redis(host='127.0.0.1', port=6379)#host后的IP是需要连接的ip，本地是127.0.0.1或者localhost
     5 #主ip池
     6 def add_ip(ip):
     7      r.lpush('Iplist',ip)
     8 #备用ip池
     9 def add_ips(ip):
    10      r.lpush('Iplists',ip)
    11 #备用ip池第一个开始取出
    12 def app_ips():
    13      i=str(r.lindex('Iplists',1),encoding='utf-8')
    14      r.lrem('Iplists',i,num=0)
    15      return i
    16 def len_ips():
    17     return r.llen('Iplists')
    18 def len_ip():
    19     return r.llen('Iplist')
    20 #第一个开始取出
    21 def app_ip():
    22      i=str(r.lpop('Iplist'),encoding='utf-8')
    23      return i
    24 #取出从最后一个开始
    25 def rem_ip():
    26     i=str(r.rpop('Iplist'),encoding='utf-8')
    27     return i
    28 #检查主ip池
    29 def act_db():
    30     for i in range(int(r.llen('Iplist')/2)):
    31        Requestdef.inspect_ip(rem_ip())
    32
    33 #如果ip池数量少于25个 则填满
    34 def act_lenip():
    35     if r.llen('Iplist')<25:
    36         print('填ip')
    37         while r.llen('Iplist')<=50:
    38           Requestdef.inspect_ip(app_ips())

**5、调用端口 使用flask库创建接口**

1 from flask import Flask
     2 import Db
     3
     4 app = Flask(__name__)
     5
     6 @app.route('/', methods=['GET'])
     7 def home():
     8     return 'What is?'
     9
    10 @app.route('/get', methods=['GET'])
    11 def homsse():
    12     return Db.app_ip()
    13 #线程池数量
    14 @app.route('/count', methods=['GET'])
    15 def homsssse():
    16     return str(Db.len_ip())
    17 app.run(debug=True)

**就完成了**  
![在这里插入图片描述][fb5bdb6292804855a1333004dce4f19b.png_pic_center]  
![在这里插入图片描述][43de801a37724f4ea97b840f3a278a7c.png_pic_center]

**运行api**  
![在这里插入图片描述][2c87b2f2f30849c6b6610a4ca778a482.png_pic_center]

数据库里面的 Iplist为主Ip池 iplist 为备用ip池。

用get调用 用一次就删一个。

### 关于Python学习指南 ###

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

包括：Python激活码+安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！

##### ?Python所有方向的学习路线? #####

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。**（全套教程文末领取）**

![在这里插入图片描述][3c4ee87941694f3789398db3d52a2637.png_pic_center]

##### ?Python学习视频600合集? #####

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

![在这里插入图片描述][64c89bf6293d4699bf7ee8f34b9e69fd.png_pic_center]

##### 温馨提示：篇幅有限，已打包文件夹，获取方式在：文末 #####

##### ?Python70个实战练手案例&源码? #####

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

![在这里插入图片描述][2017b67544f94e8898db755e2703224a.png_pic_center]

##### ?Python大厂面试资料? #####

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自**阿里、腾讯、字节等一线互联网大厂**最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

![在这里插入图片描述][3055c54d3224495987c589f150324d73.png_pic_center]

![在这里插入图片描述][b0751719fe914aec8c8d09f62f772e44.png_pic_center]

##### ?Python副业兼职路线&方法? #####

学好 Python 不论是就业还是做副业赚钱都不错，但要学会兼职接单还是要有一个学习规划。

![在这里插入图片描述][01bcd7cbfd6d43fb85ef410766735154.png_pic_center]

**?** **这份完整版的Python全套学习资料已经上传，朋友们如果需要可以扫描下方CSDN官方认证二维码或者点击链接免费领取**【**`保证100%免费`**】

![28c313fe0bc8cfd922b6246074689e50.png][]

[fb5bdb6292804855a1333004dce4f19b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/cab6622d934846cf93bb5c3bca683494.png
[43de801a37724f4ea97b840f3a278a7c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/bdb04547ef154e14b582e9788524eede.png
[2c87b2f2f30849c6b6610a4ca778a482.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/4d5f31d595a7482f93e7f64aa1d592f8.png
[3c4ee87941694f3789398db3d52a2637.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/8e4885dd16b645fdbc2ab406abef0edd.png
[64c89bf6293d4699bf7ee8f34b9e69fd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/e97749f5846a422eb0ba9f2840897238.png
[2017b67544f94e8898db755e2703224a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/6668aef5f9014de7aa6d3d8879203423.png
[3055c54d3224495987c589f150324d73.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/8235c22946824bf4bbd07fa18d8d7ad5.png
[b0751719fe914aec8c8d09f62f772e44.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/5c270444bbd841f89e5702c3560b503d.png
[01bcd7cbfd6d43fb85ef410766735154.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/c444c2719e8140f6bead0ea02f96b6af.png
[28c313fe0bc8cfd922b6246074689e50.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/20db0d13040140448180e21f3abbc224.png