IO多路复用问题

╰半橙微兮° 2022-04-13 14:59 356阅读 0赞

select，poll，epoll都是IO多路复用的机制。I/O多路复用就通过一种机制，可以监视多个描述符，一旦某个描述符就绪（一般是读就绪或者写就绪），能够通知程序进行相应的读写操作。

select，poll，epoll本质上都是同步I/O，因为他们都需要在读写事件就绪后自己负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需自己负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用户空间。

select的几大缺点：

### 一、select ###

select本质上是通过设置或者检查存放fd标志位的数据结构来进行下一步处理。这样所带来的缺点是：

1、select文件描述符数量太小

select最大的缺陷就是单个进程所打开的FD是有一定限制的，它由FD\_SETSIZE设置，默认值是1024。

一般来说这个数目和系统内存关系很大，具体数目可以cat /proc/sys/fs/file-max察看。32位机默认是1024个，64位机默认是2048。

2、轮询

对socket进行扫描时是线性扫描，即采用轮询的方法，效率较低。

当套接字比较多的时候，每次select()都要通过遍历FD\_SETSIZE个Socket来完成调度，不管哪个Socket是活跃的，都遍历一遍。这会浪费很多CPU时间。如果能给套接字注册某个回调函数，当他们活跃时，自动完成相关操作，那就避免了轮询，这正是epoll与kqueue做的。

3、复制fd开销大

需要维护一个用来存放大量fd的数据结构，这样会使得用户空间和内核空间在传递该结构时复制开销大。

（1）每次调用select，都需要把fd集合从用户态拷贝到内核态，这个开销在fd很多时会很大

（2）同时每次调用select都需要在内核遍历传递进来的所有fd，这个开销在fd很多时也很大

单个进程能够监视的文件描述符的数量存在最大限制，通常是1024，当然可以更改数量，但由于select采用轮询的方式扫描文件描述符，文件描述符数量越多，性能越差；(在linux内核头文件中，有这样的定义：\#define \_\_FD\_SETSIZE 1024)

内核 / 用户空间内存拷贝问题，select需要复制大量的句柄数据结构，产生巨大的开销；

select返回的是含有整个句柄的数组，应用程序需要遍历整个数组才能发现哪些句柄发生了事件；

select的触发方式是水平触发，应用程序如果没有完成对一个已经就绪的文件描述符进行IO操作，那么之后每次select调用还是会将这些文件描述符通知进程。

### 二、poll ###

poll的实现和select非常相似，只是描述fd集合的方式不同，poll使用pollfd结构而不是select的fd\_set结构，其他的都差不多。

poll将用户传入的数组拷贝到内核空间，然后查询每个fd对应的设备状态，如果设备就绪则在设备等待队列中加入一项并继续遍历，如果遍历完所有fd后没有发现就绪设备，则挂起当前进程，直到设备就绪或者主动超时，被唤醒后它又要再次遍历fd。这个过程经历了多次无谓的遍历。

它没有最大连接数的限制，原因是它是基于链表来存储的，但是同样有一个缺点：  
1）大量的fd的数组被整体复制于用户态和内核地址空间之间，而不管这样的复制是不是有意义。  
2）poll还有一个特点是“水平触发”，如果报告了fd后，没有被处理，那么下次poll时会再次报告该fd。

### 三、epoll ###

epoll是Linux多路服用IO接口select/poll的加强版，e对应的英文单词就是enhancement，中文翻译为增强，加强，提高，充实的意思。所以epoll模型会显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。

epoll支持水平触发和边缘触发，最大的特点在于边缘触发，它只告诉进程哪些fd刚刚变为就绪态，并且只会通知一次。

epoll使用“事件”的就绪通知方式，通过epoll\_ctl注册fd，一旦该fd就绪，内核就会采用类似callback的回调机制来激活该fd，epoll\_wait便可以收到通知。

epoll把用户关心的文件描述符上的时间放在内核的一个事件表中，无需像select和poll那样每次调用都重复传入文件描述符集。

epoll在获取事件的时候，无需遍历整个被监听的文件描述符集合，而是遍历那些被内核IO事件异步唤醒而加入ready队列的描述符集合。

epoll既然是对select和poll的改进，那epoll是怎么解决的呢？在此之前，我们先看一下epoll和select和poll的调用接口上的不同，select和poll都只提供了一个函数——select或者poll函数。

epoll的设计和实现与select完全不同。epoll通过在Linux内核中申请一个简易的文件系统(文件系统一般用什么数据结构实现？B+树)。把原先的select/poll调用分成了3个部分：

1）调用epoll_create()建立一个epoll对象(在epoll文件系统中为这个句柄对象分配资源)
    
    2）调用epoll_ctl向epoll对象中添加这100万个连接的套接字
    
    3）调用epoll_wait收集发生的事件的连接

针对复制开销，epoll的解决方案在epoll\_ctl函数中。每次注册新的事件到epoll句柄中时（在epoll\_ctl中指定EPOLL\_CTL\_ADD），会把所有的fd拷贝进内核，而不是在epoll\_wait的时候重复拷贝。epoll保证了每个fd在整个过程中只会拷贝一次。

对于轮询问题，epoll的解决方案不像select或poll一样每次都把current轮流加入fd对应的设备等待队列中，而只在epoll\_ctl时把current挂一遍（这一遍必不可少）并为每个fd指定一个回调函数，当设备就绪，唤醒等待队列上的等待者时，就会调用这个回调函数，而这个回调函数会把就绪的fd加入一个就绪链表）。epoll\_wait的工作实际上就是在这个就绪链表中查看有没有就绪的fd（利用schedule\_timeout()实现睡一会，判断一会的效果，和select实现中的第7步是类似的）。

针对数量限制，epoll没有这个限制，它所支持的FD上限是最大可以打开文件的数目，这个数字一般远大于2048,举个例子,在1GB内存的机器上大约是10万左右，具体数目可以cat /proc/sys/fs/file-max察看,一般来说这个数目和系统内存关系很大。

### 四、总结 ###

（1）select，poll实现需要自己不断轮询所有fd集合，直到设备就绪，期间可能要睡眠和唤醒多次交替。而epoll其实也需要调用epoll\_wait不断轮询就绪链表，期间也可能多次睡眠和唤醒交替，但是它是设备就绪时，调用回调函数，把就绪fd放入就绪链表中，并唤醒在epoll\_wait中进入睡眠的进程。虽然都要睡眠和交替，但是select和poll在“醒着”的时候要遍历整个fd集合，而epoll在“醒着”的时候只要判断一下就绪链表是否为空就行了，这节省了大量的CPU时间。这就是回调机制带来的性能提升。

（2）select，poll每次调用都要把fd集合从用户态往内核态拷贝一次，并且要把current往设备等待队列中挂一次，而epoll只要一次拷贝，而且把current往等待队列上挂也只挂一次（在epoll\_wait的开始，注意这里的等待队列并不是设备等待队列，只是一个epoll内部定义的等待队列）。这也能节省不少的开销。

如此一来，要实现上面说是的场景，只需要在进程启动时建立一个epoll对象，然后在需要的时候向这个epoll对象中添加或者删除连接。同时，epoll\_wait的效率也非常高，因为调用epoll\_wait时，并没有一股脑的向操作系统复制这100万个连接的句柄数据，内核也不需要去遍历全部的连接。

### 参考 ###

1、[select、poll、epoll之间的区别总结\[整理\]][select_poll_epoll]  
2、[IO多路复用之select、poll、epoll详解][IO_select_poll_epoll]  
3、[深度理解select、poll和epoll][select_poll_epoll 1](含有实现代码)  
4、[select、poll、epoll的比较-select轮询+sleep,epoll异步事件驱动高效][select_poll_epoll_-select_sleep_epoll]  
5、[linux中的轮询机制select/poll/epoll][linux_select_poll_epoll]  
6、[libevent高性能网络库源码分析——Reactor模式（二）][libevent_Reactor]  
7、[libevent学习笔记 一、基础知识][libevent_]  
8、[网络编程中Reactor与Proactor的概念及区别][Reactor_Proactor]  
9、[IO设计模式：Reactor和Proactor对比][IO_Reactor_Proactor]  
10、[libevent和基于libevent的网络编程][libevent_libevent]  
11、[两种高性能I/O设计模式(Reactor/Proactor)的比较][I_O_Reactor_Proactor]  
12、[两种高效的事件处理模型：Reactor模式和Proactor模式][Reactor_Proactor 1]  
13、[Linux网络编程---I/O复用模型之epoll][Linux_---I_O_epoll]  
14、[epoll模型和使用详解（精髓）epoll - I/O event notification facility][epoll_epoll - I_O event notification facility]  
15、[朴素、Select、Poll和Epoll网络编程模型实现和分析——模型比较][Select_Poll_Epoll]

参考文献：

[https://www.jianshu.com/p/12c4081365df][https_www.jianshu.com_p_12c4081365df]

[select_poll_epoll]: https://link.jianshu.com?t=http%3A%2F%2Fwww.cnblogs.com%2Fcreazylinux%2Fp%2F7364685.html
[IO_select_poll_epoll]: https://link.jianshu.com?t=https%3A%2F%2Fwww.cnblogs.com%2Fjeakeven%2Fp%2F5435916.html
[select_poll_epoll 1]: https://link.jianshu.com?t=https%3A%2F%2Fblog.csdn.net%2Fdavidsguo008%2Farticle%2Fdetails%2F73556811s
[select_poll_epoll_-select_sleep_epoll]: https://link.jianshu.com?t=https%3A%2F%2Fblog.csdn.net%2Fklarclm%2Farticle%2Fdetails%2F8551493
[linux_select_poll_epoll]: https://link.jianshu.com?t=https%3A%2F%2Fblog.csdn.net%2Forz415678659%2Farticle%2Fdetails%2F8958415
[libevent_Reactor]: https://link.jianshu.com?t=https%3A%2F%2Fblog.csdn.net%2Fwzgang123%2Farticle%2Fdetails%2F51179776
[libevent_]: https://link.jianshu.com?t=https%3A%2F%2Fblog.csdn.net%2Fmajianfei1023%2Farticle%2Fdetails%2F46485705
[Reactor_Proactor]: https://link.jianshu.com?t=https%3A%2F%2Fyq.aliyun.com%2Fziliao%2F29133
[IO_Reactor_Proactor]: https://link.jianshu.com?t=https%3A%2F%2Fsegmentfault.com%2Fa%2F1190000002715832
[libevent_libevent]: https://link.jianshu.com?t=http%3A%2F%2Fwww.cnblogs.com%2Fnearmeng%2Fp%2F4043548.html
[I_O_Reactor_Proactor]: https://link.jianshu.com?t=http%3A%2F%2Fblog.jobbole.com%2F59676%2F
[Reactor_Proactor 1]: https://link.jianshu.com?t=https%3A%2F%2Fblog.csdn.net%2FErica_1230%2Farticle%2Fdetails%2F78620723
[Linux_---I_O_epoll]: https://link.jianshu.com?t=https%3A%2F%2Fblog.csdn.net%2Fmen_wen%2Farticle%2Fdetails%2F53456491
[epoll_epoll - I_O event notification facility]: https://link.jianshu.com?t=https%3A%2F%2Fblog.csdn.net%2Fshenlei19911210%2Farticle%2Fdetails%2F50586913
[Select_Poll_Epoll]: https://link.jianshu.com?t=https%3A%2F%2Fblog.csdn.net%2Fbreaksoftware%2Farticle%2Fdetails%2F51647982
[https_www.jianshu.com_p_12c4081365df]: https://www.jianshu.com/p/12c4081365df