I/O的多路复用机制详解

深碍√TFBOYSˉ_ 2023-10-08 16:00 21阅读 0赞

### 准备：文件描述符，水平触发，边缘触发 ###

在Linux世界使用文件，我们也需要借助一个号码，这个号码就被称为了文件描述符。因此，文件描述仅仅就是一个数字而已，但是通过这个数字我们可以操作一个打开的文件
    
    文件描述符在形式上是一个非负整数。
    实际上，它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。
    当程序打开一个现有文件或者创建一个新文件时，内核向进程返回一个文件描述符。
    内核通过文件描述符来访问文件。文件描述符指向一个文件。

水平触发：只要一个文件描述符就绪，就会触发通知，如果用户程序没有一次性把数据读写完，下次还会通知；
    边缘触发：当描述符从未就绪变为就绪时通知一次，之后不会再通知，直到再次从未就绪变为就绪（缓冲区从不可读/写变为可读/写）。
    区别：边缘触发效率更高，减少了被重复触发的次数，函数不会返回大量用户程序可能不需要的文件描述符。
    边缘触发一定要用非阻塞IO：避免由于一个描述符的阻塞读/阻塞写操作让处理其它描述符的任务出现饥饿状态。

### 1，什么是I/O多路复用 ###

IO多路复用（IO Multiplexing）是指单个进程/线程就可以同时处理多个IO请求。

### 2，多路复用实现原理 ###

实现原理：用户将想要监视的文件描述符（File Descriptor）添加到select/poll/epoll函数中，由内核监视，函数阻塞。一旦有文件描述符就绪（读就绪或写就绪），或者超时（设置timeout），函数就会返回，然后该进程可以进行相应的读/写操作。

### 3，在Linux世界中的三种机制实现I/O多路复用 ###

select：需要把想监控的文件描述集合通过函数参数的形式告诉select，然后select会将这些文件描述符集合拷贝到内核中，
     	 为了减少数据拷贝带来的性能损耗，Linux内核对集合的大小做了限制，规定用户监控的文件描述集合不能超过1024个，
    	 同时当select返回后我们仅仅能知道有些文件描述符可以读写了，但是我们不知道是哪一个，
    	 因此程序员必须再遍历一边找到具体是哪个文件描述符可以读写了。
    
     特点：
     1：数据拷贝。每次都要复制，开销大
     2：集合大小有限制，32位机默认是1024（64位：2048）；
     3：水平触发机制。select函数返回后，需遍历集合，找到就绪的文件描述符（缺点3：轮询的方式效率较低）

poll：和select类似，select和poll都会随着监控的文件描述增加而出现性能下降，因此不适合高并发场景。基于轮询
    
    特点：
    1，采用链表的方式存储，没有最大存储数量的限制；

epoll：基于事件驱动
     1，通过内核和用户空间共享内存，避免了不断复制的问题；
     2，支持的同时连接数上限很高（1G左右的内存支持10W左右的连接数）；
     3，文件描述符就绪时，采用回调机制，避免了轮询（回调函数将就绪的描述符添加到一个链表中，执行epoll_wait时，返回这个链表）；
     4，支持水平触发和边缘触发，采用边缘触发机制时，只有活跃的描述符才会触发回调函数。

**三种方式区别主要在于：**

一个线程/进程所能打开的最大连接数
    文件描述符传递方式（是否复制）
    水平触发 or 边缘触发
    查询就绪的描述符时的效率（是否轮询）

### 4，select/poll/epoll的应用场景 ###

当连接数较多并且有很多的不活跃连接时，epoll的效率比其它两者高很多；但是当连接数较少并且都十分活跃的情况下，由于epoll需要很多回调，因此性能可能低于其它两者。

### 5，多路复用的应用场景 ###

1，redis通过I/O多路复用处理客户端的连接请求与相应，6.0以后采用多个IO线程来处理网络请求，提高网络请求处理的并行度，数据读写依然保持单线程

### 6，总结 ###

单个线程监听多个连接，某个连接就绪而触发读写事件时，就会通知对应的应用程序主动获取这个就绪连接进行读写操作，
    即在应用程序里使用单个线程处理多个客户端连接，减少系统资源的消耗，也提升服务端的连接处理数量。
    实现原理大体就是客户端传输数据过程中。为避免服务端read数据时阻塞，服务端会先把请求注册到selector 复路器，服务端不需等待，
    只需启动个线程通过selector.select()方法去阻塞轮询复路器上就绪的channel，
    客户端数据传输完成后，select()方法就会返回这个就绪的channel，然后执行相关处理逻辑即可。