Python的协程

傷城~ 2022-05-14 00:15 222阅读 0赞

## Python的并发 ##

Python中由于存在GIL的问题，所以其在多线程上无法充分发挥多核的优势和威力，一般都会推荐使用多进程的方式来发挥多核的效率。  
除了多进程的方式之外，还可以使用coroutine协程的方式来提升并发的处理效率。

## 进程、线程和协程 ##

参考文章： [https://www.cnblogs.com/zhaof/p/7536569.html][https_www.cnblogs.com_zhaof_p_7536569.html]

这篇文章关于进程、线程和协程之间的异同已经做了非常好的阐述，这里就不再单独展开篇幅分析和讨论了。

## 并发模式 ##

目前并发模式应该是应用单线程的协程处理模式。多进程开启，进程中使用单线程模式，在线程中使用协程的方式。

## 代码示例 ##

协程方式，下载图片

from bs4 import BeautifulSoup
    import requests
    
    from gevent import monkey; monkey.patch_all()
    import gevent
    
    from urllib.parse import urlparse
    import shutil
    import os
    
    url = 'https://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fr=&sf=1&fmq=1526269427171_R&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=%E5%A3%81%E7%BA%B8'
    r = requests.get(url)
    html = r.text
    soup = BeautifulSoup(html, 'lxml')
    links = soup.find_all('img')
    
    print(links)
    images = [i.get("src") for i in links if i.get("src") and len(i.get("src"))>0]
    print("Len:" + str(len(images)))
    
    def download_image(url):
        print("image:" + url)
        file_name = os.path.basename(url)
        response = requests.get(url, stream=True)
        with open(file_name, 'wb') as out_file:
            shutil.copyfileobj(response.raw, out_file)
        del response
    
    
    tasks = []
    for image in images:
            tasks.append(gevent.spawn(download_image, "http:" + image))
    
    gevent.joinall(tasks)

运行结果：  
![这里写图片描述][70]

## 参考资料 ##

[廖雪峰的gevent简明教程][gevent]

[https_www.cnblogs.com_zhaof_p_7536569.html]: https://www.cnblogs.com/zhaof/p/7536569.html
[70]: /images/20220514/d6f1538c58ec4cd2bbf35735c7d1dbd8.png
[gevent]: https://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000/001407503089986d175822da68d4d6685fbe849a0e0ca35000