python异步爬虫实现与总结

Myth丶恋晨 2023-01-19 13:52 183阅读 0赞

# 一 背景 #

默认情况下，用get请求时，会出现阻塞，需要很多时间来等待，对于有很多请求url时，速度就很慢。因为需要一个url请求的完成，才能让下一个url继续访问。一种很自然的想法就是用异步机制来提高爬虫速度。通过构建线程池或者进程池完成异步爬虫，即使用多线程或者多进程来处理多个请求（在别的进程或者线程阻塞时）。

import time 
    #串形
    
    def getPage(url):
        print("开始爬取网站",url)
        time.sleep(2)#阻塞
        print("爬取完成！！！",url)
    
    
    urls = ['url1','url2','url3','url4','url5']
    
    beginTime = time.time()#开始计时
    
    for url in urls:
        getPage(url)
    
    endTime= time.time()#结束计时
    print("完成时间%d"%(endTime - beginTime))

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70][]

下面通过模拟爬取网站来完成对多线程，多进程，协程的理解。

# 二 多线程实现 #

import time 
    #使用线程池对象
    from multiprocessing.dummy import Pool
    
    def getPage(url):
        print("开始爬取网站",url)
        time.sleep(2)#阻塞
        print("爬取完成！！！",url)
    
    
    urls = ['url1','url2','url3','url4','url5']
    
    beginTime = time.time()#开始计时
    
    #准备开启5个线程,并示例化对象
    pool = Pool(5)
    pool.map(getPage, urls)#urls是可迭代对象，里面每个参数都会给getPage方法处理
    
    endTime= time.time()#结束计时
    print("完成时间%d"%(endTime - beginTime))

# ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 1][] #

完成时间只需要2s!!!!!!!!

线程池使用原则：适合处理耗时并且阻塞的操作

# 三 多进程实现 #

# 四 协程实现 #

单线程+异步协程！！！！！！！！！！强烈推荐，目前流行的方式。

相关概念：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 2][]

#%%
    import time 
    #使用协程
    import asyncio
    
    
    async def getPage(url):  #定义了一个协程对象，python中函数也是对象
        print("开始爬取网站",url)
        time.sleep(2)#阻塞
        print("爬取完成！！！",url)
        
    #async修饰的函数返回的对象    
    c = getPage(11)
    
    #创建事件对象
    loop_event = asyncio.get_event_loop()
    #注册并启动looP
    loop_event.run_until_complete(c)
    
    #task对象使用，封装协程对象c
    '''
    loop_event = asyncio.get_event_loop()
    task = loop_event.create_task(c)
    loop_event.run_until_complete(task)
    '''
    
    #Future对象使用，封装协程对象c            用法和task差不多
    '''
    loop_event = asyncio.get_event_loop()
    task       = asyncio.ensure_future(c)
    loop_event.run_until_complete(task)
    '''
    
    #绑定回调使用
    
    async def getPage2(url):  #定义了一个协程对象，python中函数也是对象
        print("开始爬取网站",url)
        time.sleep(2)#阻塞
        print("爬取完成！！！",url)
        return url
        
    #async修饰的函数返回的对象    
    c2 = getPage2(2)
    
    def callback_func(task):
        print(task.result()) #task.result()返回任务对象中封装的协程对象对应函数的返回值
    
    
    #绑定回调
    loop_event = asyncio.get_event_loop()
    task       = asyncio.ensure_future(c2)
    
    task.add_done_callback(callback_func)  #真正绑定，
    loop_event.run_until_complete(task)

输出：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 3][]

多任务协程实现：

import time 
    #使用多任务协程
    import asyncio
    
    
    
    
    urls = ['url1','url2','url3','url4','url5']
    
    
    
    async def getPage(url):  #定义了一个协程对象，python中函数也是对象
        print("开始爬取网站",url)
        #在异步协程中如果出现同步模块相关的代码，那么无法实现异步
        #time.sleep(2)#阻塞
        await asyncio.sleep(2)#遇到阻塞操作必须手动挂起
        print("爬取完成！！！",url)
        return url
        
    
    beginTime = time.time()  
    
    
    #任务列表，有多个任务
    tasks = []
    
    for url in urls:
        c = getPage(url)
        task = asyncio.ensure_future(c)#创建任务对象
        tasks.append(task)
    loop = asyncio.get_event_loop()
    loop.run_until_complete(asyncio.wait(tasks))#不能直接放task，需要封装进入asyncio,wait()方法中
    
    endTime = time.time()   
    print("完成时间%d"%(endTime - beginTime))

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 4][]

此时不能用time.sleep(2)，用了还是10秒

对于真正爬取过程中，如在getPage()方法中真正爬取数据时，即requests.get(url) ,它是基于同步方式实现。应该使用异步网络请求模块aiohttp

参考下面代码：

async def getPage(url):  #定义了一个协程对象，python中函数也是对象
        print("开始爬取网站",url)
        #在异步协程中如果出现同步模块相关的代码，那么无法实现异步
        #requests.get(url)#阻塞
        async with aiohttp.ClintSession() as session:
    
                         async with await  session.get(url) as response: #手动挂起
    
                                           page_text =  await response.text() #.text()返回字符串，read()返回二进制数据，注意不是content
        print("爬取完成！！！",url)
        return page_text

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 5][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70]: /images/20221021/209e784c7d924b798607b156a9e8083d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 1]: /images/20221021/1201d36205cc46d5b20d9bc0ca3b1c1f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 2]: /images/20221021/ec45644536eb421999f0fa6637924b39.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 3]: /images/20221021/3599adfba4dc4a4c9baac9a0c6932100.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 4]: /images/20221021/f12ee23c6cfb42c5aa8f8ec5e2b2dd07.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NDYzMTc1_size_16_color_FFFFFF_t_70 5]: /images/20221021/2f59ca585dee4c148b4dd3de86cd19e8.png