Python 基础之多任务 gevent 协程应用的简单案例，简单实现下载网上文件的功能（urllib，gevent 等）

爱被打了一巴掌 2022-10-29 07:56 238阅读 0赞

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70][]

# Python 基础 之 多任务 gevent 协程应用的简单案例，简单实现下载网上文件的功能（urllib，gevent 等） #

**目录**

Python 基础 之 多任务 gevent 协程应用的简单案例，简单实现下载网上文件的功能（urllib，gevent 等）

一、简单介绍

协程概念

协程和线程差异

进程、线程、协程对比

二、实现原理

三、注意事项

四、效果预览

五、实现步骤

六、关键代码

--------------------

## 一、简单介绍 ##

Python是一种跨平台的计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。Python是一种解释型脚本语言，可以应用于以下领域： Web 和 Internet 开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发、网络爬虫。

本节简单介绍，使用 python 中多任务，协程的功能，进行下载网络文件的简单功能应用。

> ### 协程概念 ###
> 
> 协程，又称微线程，纤程。英文名Coroutine。
> 
> 协程是python个中另外一种实现多任务的方式，只不过比线程更小占用更小执行单元（理解为需要的资源）。 为啥说它是一个执行单元，因为它自带CPU上下文。这样只要在合适的时机， 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。
> 
> 通俗的理解：在一个线程中的某个函数，可以在任何地方保存当前函数的一些临时变量等信息，然后切换到另外一个函数中执行，注意不是通过调用函数的方式做到的，并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定
> 
>  
> 
> ### 协程和线程差异 ###
> 
> 在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。 操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据，操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文，所以一秒钟切换个上百万次系统都抗的住。
> 
> greenlet、`gevent`
> 
> greenlet已经实现了协程，但是这个还的人工切换，是不是觉得太麻烦了，不要捉急，python还有一个比greenlet更强大的并且能够自动切换任务的模块`gevent`
> 
> 其原理是当一个greenlet遇到IO(指的是input output 输入输出，比如网络、文件操作等)操作时，比如访问网络，就自动切换到其他的greenlet，等到IO操作完成，再在适当的时候切换回来继续执行。
> 
> 由于IO操作非常耗时，经常使程序处于等待状态，有了gevent为我们自动切换协程，就保证总有greenlet在运行，而不是等待IO
> 
>  
> 
> ### 进程、线程、协程对比 ###
> 
> 请仔细理解如下的通俗描述
> 
>  *  有一个老板想要开个工厂进行生产某件商品（例如剪子）
>  *  他需要花一些财力物力制作一条生产线，这个生产线上有很多的器件以及材料这些所有的 为了能够生产剪子而准备的资源称之为：进程
>  *  只有生产线是不能够进行生产的，所以老板的找个工人来进行生产，这个工人能够利用这些材料最终一步步的将剪子做出来，这个来做事情的工人称之为：线程
>  *  这个老板为了提高生产率，想到3种办法：
>     
>     1.  在这条生产线上多招些工人，一起来做剪子，这样效率是成倍増长，即单进程 多线程方式
>     2.  老板发现这条生产线上的工人不是越多越好，因为一条生产线的资源以及材料毕竟有限，所以老板又花了些财力物力购置了另外一条生产线，然后再招些工人这样效率又再一步提高了，即多进程 多线程方式
>     3.  老板发现，现在已经有了很多条生产线，并且每条生产线上已经有很多工人了（即程序是多进程的，每个进程中又有多个线程），为了再次提高效率，老板想了个损招，规定：如果某个员工在上班时临时没事或者再等待某些条件（比如等待另一个工人生产完谋道工序 之后他才能再次工作） ，那么这个员工就利用这个时间去做其它的事情，那么也就是说：如果一个线程等待某些条件，可以充分利用这个时间去做其它事情，其实这就是：协程方式
> 
> ***简单总结：***
> 
> 1.  进程是资源分配的单位
> 2.  线程是操作系统调度的单位
> 3.  进程切换需要的资源很最大，效率很低
> 4.  线程切换需要的资源一般，效率一般（当然了在不考虑GIL的情况下）
> 5.  协程切换任务资源很小，效率高
> 6.  多进程、多线程根据cpu核数不一样可能是并行的，但是协程是在一个线程中 所以是并发

## 二、实现原理 ##

1、gevent 进行协程多任务

2、urllib 获取网上资源文件

3、文件读写，下载网上的文件保留本地

## 三、注意事项 ##

1、在使用 gevent 协程多任务的时候，要把耗时操作进行替换

# 有IO才做时需要这一句
    monkey.patch_all()  # 将程序中用到的耗时操作的代码，换为gevent中自己实现的模块

## 四、效果预览 ##

![20210210130010281.gif][]

## 五、实现步骤 ##

1、打开 pycharm 新建一个工程，即可新建一个python文件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 1][]

2、网上找一些可下载的资源路径，编写脚本，实现协程下载网络资源

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 2][]

3、运行脚本可以写成多任务下载资源

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 3][]

## 六、关键代码 ##

import gevent
    from gevent import monkey
    import urllib.request
    
    # 有IO才做时需要这一句
    monkey.patch_all()  # 将程序中用到的耗时操作的代码，换为gevent中自己实现的模块
    
    
    def my_download(file_name, url):
        """
        网上获取数据，并保存本地
        :param file_name: 保存的文件名
        :param url: 网址
        :return:
        """
        print("Get : %s " % url)
        resp = urllib.request.urlopen(url)
    
        data = resp.read()
        with open(file_name, "wb") as f:
            f.write(data)
    
        print(file_name, "save ok, %d bytes received from %s." % (len(data), url))
    
    
    def main():
    
        # 添加所有协程任务，并等待各个协程任务结束
        gevent.joinall([
            gevent.spawn(my_download, "1.jpg", "https://ss3.bdstatic.com/70cFv8Sh_Q1YnxGkpoWK1HF6hhy/it/u=617100489,3848171650&fm=26&gp=0.jpg"),
            gevent.spawn(my_download, "2.jpg", "https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fdik.img.kttpdq.com%2Fpic%2F3%2F1812%2F15cdcfba19bd15b4_1680x1050.jpg&refer=http%3A%2F%2Fdik.img.kttpdq.com&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1615523263&t=8ef1c78524053592f5f8148b83def2c4"),
            gevent.spawn(my_download, "3.jpg", "https://gimg2.baidu.com/image_search/src=http%3A%2F%2Fdik.img.kttpdq.com%2Fpic%2F3%2F1630%2Fe5428d952b120906.jpg&refer=http%3A%2F%2Fdik.img.kttpdq.com&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=jpeg?sec=1615523263&t=0f8853c8f464a7f3641aadf3423bf75d")
    
        ])
    
    
    if __name__ == '__main__':
        main()

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 4][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70]: /images/20221024/d9a085b9bf964fad8caa65e337417dc0.png
[20210210130010281.gif]: /images/20221024/61bf6c5d0cda4fd3b5637cbe82496658.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 1]: /images/20221024/b8b3980b3a4d4dd2a5307e64949ba946.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 2]: /images/20221024/4396c7c5f5bd47aaa2880c783947121a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 3]: /images/20221024/6e4202e60278435092158e08a4b7e5f7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQzNjEyODA_size_16_color_FFFFFF_t_70 4]: /images/20221024/39533cdc8343472eac17074f703918a1.png