【示例-多任务】Python 协程gevent模块

喜欢ヅ旅行 2023-05-21 08:47 21阅读 0赞

协程，又称微线程，纤程。协程是Python中另外一种实现多任务的方式， 是比线程占用更小的执行单元。  
多进程， 多线程， 协程中差异见： [【Python面试场景】进程-线程-协程相关问题汇总][Python_-_-]

**gevent**是一个强大的并且能够自动切换任务的模块， 是Python的第三方库， 需要单独安装。它使用 greenlet在libev 或libuv事件循环的顶部提供高级同步API 。

pip3 install gevent

其原理是当一个greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。

由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO

### 1 使用 ###

该案例中并没有切换执行

import gevent
    
    def f(n):
        for i in range(n):
            print(gevent.getcurrent(), i)
    
    g1 = gevent.spawn(f, 5)
    g2 = gevent.spawn(f, 5)
    g3 = gevent.spawn(f, 5)
    g1.join()
    g2.join()
    g3.join()

### 2 切换执行 ###

import gevent
    
    def f(n):
        for i in range(n):
            print(gevent.getcurrent(), i)
            #用来模拟一个耗时操作，注意不是time模块中的sleep
            gevent.sleep(1)
    
    g1 = gevent.spawn(f, 5)
    g2 = gevent.spawn(f, 5)
    g3 = gevent.spawn(f, 5)
    g1.join()
    g2.join()
    g3.join()

### 3 打补丁 Monkey ###

from gevent import monkey
    import gevent
    import random
    import time
    
    # 有耗时操作时需要
    monkey.patch_all()  # 将程序中用到的耗时操作的代码，换为gevent中自己实现的模块
    
    def coroutine_work(coroutine_name):
        for i in range(10):
            print(coroutine_name, i)
            time.sleep(random.random())
    
    gevent.joinall([
            gevent.spawn(coroutine_work, "work1"),
            gevent.spawn(coroutine_work, "work2")
    ])

### 4 【多任务案例】并发下载器 ###

from gevent import monkey
    import gevent
    import urllib.request
    
    #有IO才做时需要这一句
    monkey.patch_all()
    
    def my_downLoad(file_name, url):
        print('GET: %s' % url)
        resp = urllib.request.urlopen(url)
        data = resp.read()
    
        with open(file_name, "wb") as f:
            f.write(data)
    
        print('%d bytes received from %s.' % (len(data), url))
    
    gevent.joinall([
            gevent.spawn(my_downLoad, "1.mp4", 'http://***.***.com/***.mp4'),
            gevent.spawn(my_downLoad, "2.mp4", 'http://***.***.com/***.mp4'),
    ])

**更多官方案例** [https://github.com/gevent/gevent/blob/master/examples/][https_github.com_gevent_gevent_blob_master_examples]

[Python_-_-]: https://blog.csdn.net/chichu261/article/details/84799065
[https_github.com_gevent_gevent_blob_master_examples]: https://github.com/gevent/gevent/blob/master/examples/