Python性能之困(影响性能的原因)

川长思鸟来 2022-03-15 10:14 315阅读 0赞

#### Python 性能之困 ####

1.  计算密集型
    
     *  CPU 长时间满负荷运行, 如图像处理、大数据运算、圆周率计算等
     *  计算密集型: 用 C 语言补充
     *  cProfile, timeit
2.  I/O 密集型
    
     *  网络 IO, 文件 IO, 设备 IO 等
     *  一切皆文件
3.  多任务处理
    
     *  进程、线程、协程调度的过程叫做上下文切换
     *  进程、线程、协程对比
    
    <table> 
     <thead> 
      <tr> 
       <th>名称</th> 
       <th>资源占用</th> 
       <th>数据通信</th> 
       <th>上下文切换 (Context)</th> 
      </tr> 
     </thead> 
     <tbody> 
      <tr> 
       <td>进程</td> 
       <td>大</td> 
       <td>不方便 (网络、共享内存、管道等)</td> 
       <td>操作系统按时间片切换, 不够灵活, 慢</td> 
      </tr> 
      <tr> 
       <td>线程</td> 
       <td>小</td> 
       <td>非常方便</td> 
       <td>按时间片切换, 不够灵活, 快</td> 
      </tr> 
      <tr> 
       <td>协程</td> 
       <td>非常小</td> 
       <td>非常方便</td> 
       <td>根据I/O事件切换, 更加有效的利用 CPU</td> 
      </tr> 
     </tbody> 
    </table>
4.  全局解释器锁 ( GIL )
    
     *  它确保任何时候一个进程中都只有一个 Python 线程能进入 CPU 执行。
     *  全局解释器锁造成单个进程无法使用多个 CPU 核心
     *  通过多进程来利用多个 CPU 核心，一般进程数与CPU核心数相等，或者CPU核心数两倍  
        ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTMxNTQ5_size_16_color_FFFFFF_t_70]
5.  什么是同步、异步、阻塞、非阻塞？
    
     *  同步, 异步: 客户端调用服务器接口时
     *  阻塞, 非阻塞: 服务端发生等待
     *  阻塞 -> 非阻塞
     *  同步 -> 异步
6.  协程：Stackless / greenlets / gevent | tornado / asyncio
    
        import asyncio
        
        async def foo(n):
            for i in range(10):
                print('wait %s s' % n)
                await asyncio.sleep(n)
            return i
        
        task1 = foo(1)
        task2 = foo(1.5)
        tasks = [asyncio.ensure_future(task1),
                 asyncio.ensure_future(task2)]
        
        loop = asyncio.get_event_loop()  # 事件循环，协程调度器
        loop.run_until_complete( asyncio.wait(tasks) )
7.  线程安全, 锁
    
     *  获得锁之后, 一定要释放, 避免死锁
     *  尽量使用 with 去操作锁
     *  获得锁之后, 执行的语句, 只跟被锁资源有关
     *  线程之间的数据交互尽量使用 Queue

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NTMxNTQ5_size_16_color_FFFFFF_t_70]: /images/20220315/6c88191a94644e8db4a376c15c11dec9.png