python 多进程 + 队列检查代理ip有效性

╰+攻爆jí腚メ 2022-05-20 09:25 304阅读 0赞

之前写过获取代理IP和检查代理IP有效性的 [脚本][Link 1] 。其中检查代理IP的效率太低，不能达到工作的要求，所以这次用多进程重写了一下。不太了解多进程的，请先参考[liaoxuefeng][]的文章。

一、准备：

# 加载模块
    import multiprocessing as mp
    import time
    import requests
    
    ips_ok_file = r'd:/tmp/xici_ips.txt' # 代理IP存储文件。请参考之前文章
    ck_ips = r'd:/tmp/xici_ips_ck.txt' # 检查后，并保存的文件
    target_url = r'http://ip.chinaz.com/getip.aspx' # 目标地址
    User_Agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    headers = {}
    headers['User-Agent'] = User_Agent

二、几个操作函数：

def check_ip(proxy_ip,q):
        # 检查代理IP
        proxy = {'http':proxy_ip,'https':proxy_ip}
        #print(proxy)
        try:
            # 请求目标地址，并获得响应码。加了超时。
            response = requests.get(target_url,proxies=proxy,headers=headers,timeout=3).status_code
            if(response == 200):
                q.put(proxy_ip)
                print('ok')
                return 'ok'
            else:
                print('no')
                return 'no'
        except:
            print('timeout')
            return 'timeout'
    
    def get_ips():
        # 从文件里读取代理IP
        with open(ips_ok_file,'r',encoding='utf-8') as f:
            ips = f.readlines()    
        ip_list = [i.strip() for i in ips]
        return ip_list
    def save_ips(ips):
        # 检查后保存到文件里。
            with open(ck_ips,'w') as f:
                f.write(ips)
            f.close()

三、初始多进程：

if __name__ == '__main__':
        start_time = time.time()
        ips = get_ips()
        print('ips : ',len(ips))
        # multiprocess
        q = mp.Manager().Queue()
        cpus = mp.cpu_count() # 获取机器的CPU核数
        pool = mp.Pool(processes=cpus) # 进程池
        for ip in ips: # urls:
            pool.apply_async(check_ip,args=(ip,q))
            
        pool.close() # 不允许进程池再添加新的请求了。
        pool.join()
        ip_text = ''
        while not q.empty():
            ip_text += '{}\n'.format(q.get())
        
        save_ips(ip_text)   
        print('End process')
        print('time : {}'.format(time.time()-start_time))

这里用到了进程池，队列。把三部分内容依次保存，就可以正常运行。

[Link 1]: https://blog.csdn.net/uvyoaa/article/details/80928862
[liaoxuefeng]: https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431927781401bb47ccf187b24c3b955157bb12c5882d000