一篇文章浅析Python自带的线程池和进程池

╰半橙微兮° 2022-11-06 05:53 10阅读 0赞

击上方“**Python爬虫与数据挖掘**”，进行关注

回复“**书籍**”即可获赠Python从入门到进阶共10本电子书

今

日

鸡

汤

岩扉松径长寂寥，惟有幽人自来去。

## 前言 ##

大家好，我是星期八。

我们都知道，不管是Java，还是C++，还是Go，还是Python，都是有线程这个概念的。

但是我们知道，线程是不能随便创建的，就像每招一个员工一样，是有代价的，无限制招人肯定最后各种崩溃。

所以通常情况下，我们会引出**线程池**这个概念。

本质就是我就招了几个固定的员工，给他们派活,某一个人的活干完了再去任务中心领取新的活。

防止任务太多，一次性招太多工人，最后系统崩溃。

## 开心一刻 ##

### 理想的多线程 ###

![format_png][]

### 实际的多线程    ###

![format_png 1][]

## from concurrent.futures import ...    ##

可能也是因为**线程池**这个东西用的越来越多了吧，从Python3.2+之后，就成了**内置模块**。

对的，直接就能使用，不需要`pip`进行安装什么的。

`concurrent.futures`下面主要有俩接口。

*  `ThreadPoolExecutor` 线程池。
 *  `ProcessPoolExecutor`进程池。

这里可没有什么所谓的`异步池`。

**个人看法：**虽然异步的性能很高，但是目前除了Go以外，其他实现的都不是太好，用法上面有些怪异，当然，你们可以说我菜，我承认。

### 线程池 ###

**示例代码**

import time
    from concurrent.futures import ThreadPoolExecutor
    import random
    
    
    # max_workers表示工人数量,也就是线程池里面的线程数量
    pool = ThreadPoolExecutor(max_workers=10)
    # 任务列表
    task_list = ["任务1", "任务2", "任务3", "任务4", ]
    
    
    
    
    def handler(task_name):
        # 随机睡眠,模仿任务执行时间不确定性
        n = random.randrange(5)
        time.sleep(n)
        print(f"任务内容:{task_name}")
    
    
    
    
    if __name__ == '__main__':
        # 遍历任务,
        for task in task_list:
            """
                交给函数处理,submit会将所有任务都提交到一个地方,不会阻塞
                然后线程池里面的每个线程会来取任务,
                比如:线程池有3个线程,但是有5个任务
                会先取走三个任务,每个线程去处理
                其中一个线程处理完自己的任务之后,会再来提交过的任务区再拿走一个任务
            """
            pool.submit(handler, task)
        print("main执行完毕")

**执行结果**

![format_png 2][]

### 发现的问题    ###

其实这个就是**并发**的，不要怀疑，但是你有没有发现个问题，**main**先执行，这说明啥？

这说明，我**main**跑完之后，是不管**子线程**的死活的。

那能不能设置一下，所有的**子线程都执行完之后**，**main**函数在执行完？

当然可以，需要一个**参数**即可。

pool.shutdown()

要完成上述的问题，我们需要一个参数，加上这个参数之后。

就可以让**主线程等待所有子线程执行完**之后，**主线程再执行完**。

**示例代码**

...
    if __name__ == '__main__':
        # 遍历任务,
        for task in task_list:
            """
                交给函数处理,submit会将所有任务都提交到一个地方
                然后线程池里面的每个线程会来取任务,
                比如:线程池有3个线程,但是有5个任务
                会先取走三个任务,每个线程去处理
                其中一个线程处理完自己的任务之后,会再来提交过的任务区再拿走一个任务
            """
            pool.submit(handler, task)
        pool.shutdown()
        print("main执行完毕")

主要就是13行的`pool.shutdown()`。

**执行结果**

![format_png 3][]

这次结果就是我们想要的了，hhh！！！

add_done_callback

`add_done_callback`可以理解为是**回调函数**，线程**执行完**之后，会**自动调用指定**的回调函数。

并且能拿到**线程执行函数的返回值**。

有什么用，我也没用过，怪我才疏学浅叭。

**示例代码**

import time
    from concurrent.futures import ThreadPoolExecutor
    import random
    from concurrent.futures._base import Future
    
    
    # max_workers表示工人数量,也就是线程池里面的线程数量
    pool = ThreadPoolExecutor(max_workers=10)
    # 任务列表
    task_list = ["任务1", "任务2", "任务3", "任务4", ]
    
    
    
    
    def handler(task_name):
        # 随机睡眠,模仿任务执行时间不确定性
        n = random.randrange(5)
        time.sleep(n)
        print(f"任务内容:{task_name}")
        return f"任务内容:{task_name}"
    
    
    
    
    def done(res: Future):
        print("done拿到的返回值:", res.result())
    
    
    
    
    if __name__ == '__main__':
        # 遍历任务,
        for task in task_list:
            futrue = pool.submit(handler, task)  # type:Future
            futrue.add_done_callback(done)
        pool.shutdown()
        print("main执行完毕")

**注意：**第17，27，28行代码！

**执行效果**

![format_png 4][]

我想，可能通常用在一些**善后工作**叭。

## 多进程方式 ##

其实通过上述几个例子，我们基本是知道怎么使用上面这个线程池了。

但是都知道Python的线程，因为**GIL(全局解释器锁)**的原因，是不能并发到多个**物理核心**上的。

所以是IO密集型的，像爬虫，读写文件，使用线程池是ok的。

但是如果说我就是野，就是头铁，非要用Python做计算型应用，像图片压缩、视频流推送，那没办法，需要使用**多进程池**方式。

其实通过`concurrent`这个接口，可以很方便的创建进程池，只需要修改两个地方。

...
    # 改成导入进程池方式
    from concurrent.futures import ProcessPoolExecutor
    ...
    if __name__ == '__main__':
        ...
        # 进程池方式
        pool = ProcessPoolExecutor(max_workers=10)
        ...

只需要修改这俩地方即可，其他和上述用法一摸一样。

## 总结 ##

本篇主要讲的是Python自带的**线程池**和**进程池**。

比较有特色的是，`ThreadPoolExecutor`，`ProcessPoolExecutor`的接口是一样的。

只需要修改导入的包就行。

`concurrent`的接口主要有`pool.submit()`,`pool.shutdown()`,`futrue.add_done_callback()`。

基本这几个都够自己用了。

如果在操作过程中有任何问题，记得下面留言，我们看到会第一时间解决问题。

想学习更多关于Python的知识，可以参考学习网址：http://pdcfighting.com/，点击阅读原文，可以直达噢~

**---\--\---\---\---\--\---** End **---\--\---\--\---\---\--\-**

往期精彩文章推荐：

*  ## [浅析三种Anaconda虚拟环境创建方式和第三方包的安装][Anaconda] ##
 *  ## [手把手教你如何在Ubuntu下安装Miniconda][Ubuntu_Miniconda] ##
 *  ## [一篇文章带你解锁Python库中操作系统级别模块psutil][Python_psutil]    ##

![format_png 5][]

欢迎大家**点赞，****留言，****转发，转载，**感谢大家的相伴与支持

想加入Python学习群请在后台回复【**入群**】

万水千山总是情，点个【**在看**】行不行

**/今日留言主题/**

随便说一两句吧~~

[format_png]: /images/20221023/2bc8398b86524a3595da4ebf8f8ef436.png
[format_png 1]: /images/20221023/277de3564ee64ddda1425d2f955d5b92.png
[format_png 2]: /images/20221023/1a8e8d791e3a46879d5d3e3f9644320a.png
[format_png 3]: /images/20221023/1d36dc0b9bcb4daaa11c913afb4903f5.png
[format_png 4]: /images/20221023/b744aff4fbbf4838b232c0019d8acff0.png
[Anaconda]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc358e7cbb4d1f195019362e9de1cb6443c208461109584c2dd725739fb5d2538cd9e8d2084&idx=2&mid=2247491276&scene=21&sn=41903ecc36e8a4b40f3f9b2b0d171198#wechat_redirect
[Ubuntu_Miniconda]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc35897cbb4d181311287311ee406a5eb7c6c248452a5c75a6fe085c22b9b3ef8b77d5a6ed1&idx=2&mid=2247491260&scene=21&sn=cd9e8f1f7ea0421514043cbf85360a61#wechat_redirect
[Python_psutil]: http://mp.weixin.qq.com/s?__biz=MzU3MzQxMjE2NA%3D%3D&chksm=fcc358a1cbb4d1b7b6af2b025c7100e26b9a7094fddf0cf223fca6164e0cc58f18496d83e341&idx=1&mid=2247491210&scene=21&sn=609e228de5051075e7ac8e38a1c2521d#wechat_redirect
[format_png 5]: /images/20221023/9f9260b55cc84a8e886effe048a9d737.png