python的多线程、多进程、协程用代码详解

雨点打透心脏的1/2处 2023-07-23 03:31 3阅读 0赞

# #

![format_png][]

## **前言** ##

文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

作者：刘早起早起

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取http://t.cn/A6Zvjdun

很多时候我们写了一个爬虫，实现了需求后会发现了很多值得改进的地方，其中很重要的一点就是爬取速度。本文就通过代码讲解如何使用**多进程、多线程、协程**来提升爬取速度。注意：我们不深入介绍理论和原理，一切都在代码中。

# 同步 #

首先我们写一个简化的爬虫，对各个功能细分，有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码，其中parse\_1函数可以设定循环次数，每次循环将当前循环数（从0开始）和url传入parse\_2函数。

![format_png 1][]

**性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待**

示例代码就是典型的串行逻辑，parse\_1将url和循环数传递给parse\_2，parse\_2请求并返回状态码后parse\_1继续迭代一次，重复之前步骤

# 多线程 #

因为CPU在执行程序时每个时间刻度上只会存在一个线程，因此多线程实际上提高了进程的使用率从而提高了CPU的使用率

实现多线程的库有很多，这里用concurrent.futures中的ThreadPoolExecutor来演示。介绍ThreadPoolExecutor库是因为它相比其他库代码更简洁

为了方便说明问题，下面代码中如果是新增加的部分，代码行前会加上 > 符号便于观察说明问题，实际运行需要去掉

![format_png 2][]

跟同步相对的就是**异步**。异步就是彼此独立,在等待某事件的过程中继续做自己的事，不需要等待这一事件完成后再工作。线程就是实现异步的一个方式，也就是说多线程是异步处理异步就意味着不知道处理结果，有时候我们需要了解处理结果，就可以采用**回调**

![format_png 3][]

Python实现多线程有一个无数人诟病的**GIL(全局解释器锁)**，但多线程对于爬取网页这种多数属于IO密集型的任务依旧很合适。

# 多进程 #

多进程用两个方法实现：ProcessPoolExecutor和multiprocessing

# **1. ProcessPoolExecutor** #

和实现多线程的ThreadPoolExecutor类似

![format_png 4][]

可以看到改动了两次类名，代码依旧很简洁，同理也可以添加**回调**函数

![format_png 5][]

# **2. multiprocessing** #

直接看代码，一切都在注释中。

![format_png 6][]

可以看到multiprocessing库的代码稍繁琐，但支持更多的拓展。**多进程和多线程确实能够达到加速的目的，但如果遇到IO阻塞会出现线程或者进程的浪费**，因此有一个更好的方法……

# 异步非阻塞 #

**协程+回调**配合动态协作就可以达到异步非阻塞的目的，本质只用了一个线程，所以很大程度利用了资源

实现异步非阻塞经典是利用asyncio库+yield，为了方便利用逐渐出现了更上层的封装 aiohttp，要想更好的理解异步非阻塞最好还是深入了解asyncio库。而gevent是一个非常方便实现协程的库

![format_png 7][]

gevent能很大提速，也引入了新的问题：**如果我们不想速度太快给服务器造成太大负担怎么办？**如果是多进程多线程的建池方法，可以控制池内数量。如果用gevent想要控制速度也有一个不错的方法：**建立队列。**gevent中也提供了**Quene类**，下面代码改动较大

![format_png 8][]

## 结束语 ##

以上就是几种常用的加速方法。如果对代码测试感兴趣可以利用time模块判断运行时间。爬虫的加速是重要技能，但适当控制速度也是爬虫工作者的良好习惯，不要给服务器太大压力，拜拜～

python学习交流群：695185429

[format_png]: /images/20230528/3db925be870a428c8bcaabc5a9b64aeb.png
[format_png 1]: /images/20230528/9534f815168e48aebe8462bc67f590f6.png
[format_png 2]: /images/20230528/87a5131b5d9e4bd4a05f2eeaa56f0af4.png
[format_png 3]: /images/20230528/186ee5506cfc4a73960d6da7d82e5f8b.png
[format_png 4]: /images/20230528/1a87410d85884fbb89c8442989cbc10e.png
[format_png 5]: /images/20230528/170aa86dafad4352905cd21fdaea1a98.png
[format_png 6]: /images/20230528/65f9a2babebe4c3fbe83708d21c9658f.png
[format_png 7]: /images/20230528/7d111c4414bc469ea9def0ae3f5cacb4.png
[format_png 8]: /images/20230528/029b6fb2e05145a79e8e42783ff52c89.png