Python技巧：如何提高爬虫速度？

矫情吗；* 2022-09-17 03:06 248阅读 0赞

![ea862c79988677e5700082d1fa709e53.png][]

文 | 闲欢

来源：Python 技术「ID: pythonall」

![2fed8635de28142fe2a2c014708e8980.png][]

今天在浏览知乎时，发现一个有趣的问题：

> 如何优化 Python 爬虫的速度？

他的问题描述是：

> 目前在写一个 Python 爬虫，单线程 urllib 感觉过于慢了，达不到数据量的要求（十万级页面）。求问有哪些可以提高爬取效率的方法？

这个问题还蛮多人关注的，但是回答的人却不多。

我今天就来尝试着回答一下这个问题。

程序提速这个问题其实解决方案就摆在那里，要么通过并发来提高单位时间内处理的工作量，要么从程序本身去找提效点，比如爬取的数据用gzip传输、提高处理数据的速度等。

我会分别从几种常见的并发方法去做同一件事情，从而比较处理效率。

### 简单版本爬虫 ###

我们先来一个简单的爬虫，看看单线程处理会花费多少时间？

import time
    import requests
    from datetime import datetime
    
    
    def fetch(url):
        r = requests.get(url)
        print(r.text)
    
    start = datetime.now()
    
    t1 = time.time()
    for i in range(100):
        fetch('http://httpbin.org/get')
    
    print('requests版爬虫耗时：', time.time() - t1)
    
    # requests版爬虫耗时：54.86306357383728

我们用一个爬虫的测试网站，测试爬取100次，用时是54.86秒。

### 多线程版本爬虫 ###

下面我们将上面的程序改为多线程版本：

import threading
    import time
    import requests
    
    
    def fetch():
        r = requests.get('http://httpbin.org/get')
        print(r.text)
    
    t1 = time.time()
    
    t_list = []
    for i in range(100):
        t = threading.Thread(target=fetch, args=())
        t_list.append(t)
        t.start()
    
    for t in t_list:
        t.join()
    
    print("多线程版爬虫耗时：", time.time() - t1)
    
    # 多线程版爬虫耗时：0.8038511276245117

我们可以看到，用上多线程之后，速度提高了68倍。其实用这种方式的话，由于我们并发操作，所以跑100次跟跑一次的时间基本是一致的。这只是一个简单的例子，实际情况中我们不可能无限制地增加线程数。

### 多进程版本爬虫 ###

除了多线程之外，我们还可以使用多进程来提高爬虫速度：

import requests
    import time
    import multiprocessing
    from multiprocessing import Pool
    
    MAX_WORKER_NUM = multiprocessing.cpu_count()
    
    def fetch():
        r = requests.get('http://httpbin.org/get')
        print(r.text)
    
    if __name__ == '__main__':
        t1 = time.time()
        p = Pool(MAX_WORKER_NUM)
        for i in range(100):
            p.apply_async(fetch, args=())
        p.close()
        p.join()
    
        print('多进程爬虫耗时：', time.time() - t1)
    
    多进程爬虫耗时： 7.9846765995025635

我们可以看到多进程处理的时间是多线程的10倍，比单线程版本快7倍。

### 协程版本爬虫 ###

我们将程序改为使用 aiohttp 来实现，看看效率如何：

import aiohttp
    import asyncio
    import time
    
    
    async def fetch(client):
        async with client.get('http://httpbin.org/get') as resp:
            assert resp.status == 200
            return await resp.text()
    
    
    async def main():
        async with aiohttp.ClientSession() as client:
            html = await fetch(client)
            print(html)
    
    loop = asyncio.get_event_loop()
    
    tasks = []
    for i in range(100):
        task = loop.create_task(main())
        tasks.append(task)
    
    t1 = time.time()
    
    loop.run_until_complete(main())
    
    print("aiohttp版爬虫耗时：", time.time() - t1)
    
    aiohttp版爬虫耗时： 0.6133313179016113

我们可以看到使用这种方式实现，比单线程版本快90倍，比多线程还快。

### 结论 ###

通过上面的程序对比，我们可以看到，对于多任务爬虫来说，多线程、多进程、协程这几种方式处理效率的排序为：aiohttp > 多线程 > 多进程。因此，对于简单的爬虫任务，如果想要提高效率，可以考虑使用协程。但是同时也要注意，这里只是简单的示例，实际运用中，我们一般会用线程池、进程池、协程池去操作。

这就是问题的答案了吗？

对于一个严谨的程序员来说，当然不是，实际上还有一些优化的库，例如grequests，可以从请求上解决并发问题。实际的处理过程中，肯定还有其他的优化点，这里只是从最常见的几种并发方式去比较而已，应付简单爬虫还是可以的，其他的方式欢迎大家在评论区留言探讨。

**推荐阅读:**

入门: [最全的零基础学Python的问题][Python] | [零基础学了8个月的Python][8_Python] | [实战项目][Link 1] |[学Python就是这条捷径][Python 1]

量化: 定投基金到底能赚多少钱？  | 我用Python对去年800只基金的数据分析

干货:[爬取豆瓣短评，电影《后来的我们》][Link 2] | [38年NBA最佳球员分析][38_NBA]| [从万众期待到口碑扑街！唐探3令人失望][3] | [笑看新倚天屠龙记][Link 3][灯谜答题王][Link 4] ｜[用Python做个海量小姐姐素描图][Python 2][碟中谍这么火，我用机器学习做个迷你推荐系统电影][Link 5]

趣味:[弹球游戏][Link 6] | [九宫格][Link 7] | [漂亮的花][Link 8] | [两百行Python《天天酷跑》游戏!][Python 3]

AI: [会做诗的机器人][Link 9][给图片上色][Link 10] | [预测收入][Link 11] | [碟中谍这么火，我用机器学习做个迷你推荐系统电影][Link 5]

小工具: [Pdf转Word，轻松搞定表格和水印！][Pdf_Word] | [一键把html网页保存为pdf！][html_pdf]| [再见PDF提取收费！][PDF] | [用90行代码打造最强PDF转换器，word、PPT、excel、markdown、html一键转换][90_PDF_word_PPT_excel_markdown_html] | [制作一款钉钉低价机票提示器！][Link 12] ｜[60行代码做了一个语音壁纸切换器天天看小姐姐！][60]｜

**年度爆款文案**

*  1).[卧槽！Pdf转Word用Python轻松搞定][Pdf_Word_Python]！
 *  [2).学Python真香！我用100行代码做了个网站，帮人PS旅行图片，赚个鸡腿吃][2_._Python_100_PS]
 *  [3).首播过亿，火爆全网，我分析了《乘风破浪的姐姐》，发现了这些秘密][3_.]
 *  4).[80行代码！用Python做一个哆来A梦分身][80_Python_A]
 *  [5).你必须掌握的20个python代码，短小精悍，用处无穷][5_._20_python]
 *  6).[30个Python奇淫技巧集][30_Python]
 *  7).[我总结的80页《菜鸟学Python精选干货.pdf》,都是干货][80_Python_.pdf]
 *  8).[再见Python！我要学Go了！2500字深度分析][Python_Go_2500]
 *  [9).发现一个舔狗福利！这个Python爬虫神器太爽了，自动下载妹子图片][9_._Python]

#  #

点阅读原文,看Python全套！

[ea862c79988677e5700082d1fa709e53.png]: /images/20220828/d58cab9370fb426ea0265a992c47d546.png
[2fed8635de28142fe2a2c014708e8980.png]: /images/20220828/a94b2da72b0e47e78efb24c625b2cd58.png
[Python]: https://blog.csdn.net/cainiao_python/article/details/100036887
[8_Python]: https://blog.csdn.net/weixin_33863087/article/details/91440273
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247489785&idx=1&sn=8acad1d7655f73702c78fe3af2fbd43a&chksm=97888f36a0ff0620bbc9e19e1783a1b3871a13485e56e58c2c2f49922951952238cb0f2ab78f&scene=21#wechat_redirect
[Python 1]: https://blog.csdn.net/weixin_39637571/article/details/110277976
[Link 2]: https://blog.csdn.net/u013402772/article/details/51159588
[38_NBA]: https://blog.csdn.net/EtoneGroup/article/details/111317660
[3]: https://blog.csdn.net/cainiao_python/article/details/119723059
[Link 3]: https://blog.csdn.net/weixin_39568172/article/details/110172136
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247489108&idx=1&sn=988aad43f8c6135bd7050cd8858422ca&chksm=9788819ba0ff088da3150b31f91335942eb97783206d982302c026ccb16642b03329e24a572a&scene=21#wechat_redirect
[Python 2]: https://blog.csdn.net/weixin_43881394/article/details/109030981
[Link 5]: https://blog.csdn.net/z3y3m3/article/details/105295040
[Link 6]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247484006&idx=1&sn=899e1ebeed40aa42c04c65975adcc0f4&chksm=978895a9a0ff1cbffbcd970db026540667f1413c5680305769e4e7a2cfbe5730e70b9e649bb9&scene=21#wechat_redirect
[Link 7]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247483945&idx=1&sn=3bf763ec6b2d6cfed33b5bb0e913e08c&chksm=978895e6a0ff1cf0e7b10ebe9cd7b4195aa9a9e25eeaad50f8b17b62d83fc114cbd9620fd69e&scene=21#wechat_redirect
[Link 8]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247483844&idx=1&sn=66cc4f532e2ee95427228eb6302b6e0d&chksm=9788960ba0ff1f1dd9d86868d01c96936501612bc9d3c9c9c7a55dd5b02c366a9f997ec2c172&scene=21#wechat_redirect
[Python 3]: https://blog.csdn.net/cainiao_python/article/details/112551393
[Link 9]: https://blog.csdn.net/qq_41424519/article/details/81943237
[Link 10]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247489691&idx=1&sn=e207bfaebba4638cc00e425c6d5f41de&chksm=97888f54a0ff064253c69f08ddaced17273d430989aec293e17708e68dab675fce236bfc7af7&scene=21#wechat_redirect
[Link 11]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247489216&idx=1&sn=7eb7701a50bc3686ecdfc1921c984bb4&chksm=9788810fa0ff0819035e9226b45349b1482a38410b4ad7bae210aaf9a19709ef8b634b3319dc&scene=21#wechat_redirect
[Pdf_Word]: https://blog.csdn.net/weixin_39766071/article/details/110307080
[html_pdf]: https://blog.csdn.net/keenweiwei/article/details/18982565
[PDF]: https://blog.csdn.net/weixin_52994140/article/details/118422342
[90_PDF_word_PPT_excel_markdown_html]: https://blog.csdn.net/cainiao_python/article/details/115499784
[Link 12]: https://blog.csdn.net/cainiao_python/article/details/117457955
[60]: https://blog.csdn.net/cainiao_python/article/details/118470443
[Pdf_Word_Python]: https://blog.csdn.net/cainiao_python/article/details/106233091
[2_._Python_100_PS]: https://blog.csdn.net/i54996/article/details/120728857
[3_.]: https://blog.csdn.net/cainiao_python/article/details/113976671
[80_Python_A]: https://blog.csdn.net/weixin_39710561/article/details/110026654
[5_._20_python]: https://blog.csdn.net/q985875757/article/details/119809368
[30_Python]: https://blog.csdn.net/sinat_38682860/article/details/89288593
[80_Python_.pdf]: https://blog.csdn.net/cainiao_python/article/details/112057378
[Python_Go_2500]: https://blog.csdn.net/cainiao_python/article/details/116213390
[9_._Python]: http://mp.weixin.qq.com/s?__biz=MzIxNjM4NDE2MA==&mid=2247499091&idx=1&sn=15550f3afc5e1834a5f9d581416a47f8&chksm=978b6a9ca0fce38a3c22059103b2b4abf0b4008db53b4aad418b45cf2e785f4d971767237d79&scene=21#wechat_redirect