python进程池apply与apply_async的区别

小咪咪 2022-02-24 11:35 180阅读 0赞

apply方法是阻塞的。  
意思就是等待当前子进程执行完毕后，在执行下一个进程。  
例如：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk3NjI2MQ_size_16_color_FFFFFF_t_70]

执行结果如下：

![在这里插入图片描述][20190403215623731.]

因为apply是阻塞的，所以进入子进程执行后，等待当前子进程执行完毕，在继续执行下一个进程。  
例如：  
有三个进程0，1，2。等待子进程0执行完毕后，在执行子进程1，然后子进程2，最后回到主进程执行主进程剩余部分，就像上面的执行结果一样。  
相当于：

![在这里插入图片描述][20190403215633263.]

这样好像跟单进程串行执行没什么区别了。

apply\_async 是异步非阻塞的。  
意思就是：不用等待当前进程执行完毕，随时根据系统调度来进行进程切换。  
例如：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk3NjI2MQ_size_16_color_FFFFFF_t_70 1]

执行结果如下：

![在这里插入图片描述][20190403215704430.]

完全没有等待子进程执行完毕，主进程就已经执行完毕，并退出程序。  
为什么会这样呢？

因为进程的切换是操作系统来控制的，抢占式的切换模式。  
我们首先运行的是主进程，cpu运行很快啊，这短短的几行代码，完全没有给操作系统进程切换的机会，主进程就运行完毕了，整个程序结束。子进程完全没有机会切换到程序就已经结束了。

apply是阻塞式的。

首先主进程开始运行，碰到子进程，操作系统切换到子进程，等待子进程运行结束后，在切换到另外一个子进程，直到所有子进程运行完毕。然后在切换到主进程，运行剩余的部分。

apply\_async是异步非阻塞式的。

首先主进程开始运行，碰到子进程后，主进程说：让我先运行个够，等到操作系统进行进程切换的时候，在交给子进程运行。以为我们的程序太短，然而还没等到操作系统进行进程切换，主进程就运行完毕了。

想要子进程执行，就告诉主进程：你等着所有子进程执行完毕后，在运行剩余部分。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk3NjI2MQ_size_16_color_FFFFFF_t_70 2]

画红圈的地方及时我们要告诉主进程，你等着所有子进程运行完毕后在运行剩余部分。

注意：close必须在join前调用。

运行结果如下：

![在这里插入图片描述][20190403215722847.]

你看，因为apply\_async是异步非阻塞式，不用等待当前进程执行完毕，随时跟进操作系统调度来进行进程切换。  
进程0没有执行完，就切换到进程1开始执行，进程1没有执行完，就切换到进程2，然后在切换回去。等待所有子进程运行完毕后，最后切换回主进程，执行剩余部分。

异步非阻塞式：

总耗时：3秒多。我们每个子进程休眠3秒，正因为是异步非阻塞式的，不用等待当前运行的子进程执行完毕，随时根据系统调度来进行进程切换。基本上主进程和三个子进程，四个进程是同时运行的。

阻塞式：

总耗时：9秒多。以为是阻塞式，需要等待当前子进程执行完毕后，在执行下一个子进程。每个子进程休眠3秒，三个子进程休眠9秒。基本上主进程加上子进程，四个进程就相当于在单进程中串行执行的。

python官方建议：废弃apply，使用apply\_async。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk3NjI2MQ_size_16_color_FFFFFF_t_70]: /images/20220224/4ebdaee458f641bf879febb5003cb9fb.png
[20190403215623731.]: /images/20220224/c7c34cfe47bc45d79bb87caae33be93c.png
[20190403215633263.]: /images/20220224/66c25c39dbe147eb9cac31eb743dc4f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk3NjI2MQ_size_16_color_FFFFFF_t_70 1]: /images/20220224/b7d844119b734a86b96e0833089d908b.png
[20190403215704430.]: /images/20220224/50e536c576b0499e9606bf98f6b9ca9b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MDk3NjI2MQ_size_16_color_FFFFFF_t_70 2]: /images/20220224/3e2ec7b050b2463eb11620b8ea87ecec.png
[20190403215722847.]: /images/20220224/e864b82ec6a641618ce13622b27efc40.png