Epoll在LT和ET模式下的读写方式

本是古典何须时尚 2022-09-18 12:47 131阅读 0赞

原文地址：

[http://www.ccvita.com/515.html][http_www.ccvita.com_515.html]

在一个非阻塞的socket上调用read/write函数,返回EAGAIN或者EWOULDBLOCK(注:EAGAIN就是EWOULDBLOCK)  
从字面上看,意思是:EAGAIN:再试一次，EWOULDBLOCK:如果这是一个阻塞socket,操作将被block，perror输出:Resource temporarily unavailable

总结:  
这个错误表示资源暂时不够，能read时，读缓冲区没有数据，或者write时，写缓冲区满了。遇到这种情况，如果是阻塞socket，read/write就要阻塞掉。而如果是非阻塞socket，read/write立即返回\-1，同时errno设置为EAGAIN。  
所以，对于阻塞socket，read/write返回\-1代表网络出错了。但对于非阻塞socket，read/write返回\-1不一定网络真的出错了。可能是Resourcetemporarily unavailable。这时你应该再试，直到Resourceavailable。

综上，对于non-blocking的socket，正确的读写操作为:  
读：忽略掉errno= EAGAIN的错误，下次继续读  
写：忽略掉errno= EAGAIN的错误，下次继续写

对于select和epoll的LT模式，这种读写方式是没有问题的。但对于epoll的ET模式，这种方式还有漏洞。

**epoll****的两种模式****LT****和****ET**  
二者的差异在于level-trigger模式下只要某个socket处于readable/writable状态，无论什么时候进行epoll\_wait都会返回该socket；而edge-trigger模式下只有某个socket从unreadable变为readable或从unwritable变为writable时，epoll\_wait才会返回该socket。

所以，在epoll的ET模式下，正确的读写方式为:  
读：只要可读，就一直读，直到返回0，或者errno= EAGAIN  
写:只要可写，就一直写，直到数据发送完，或者errno= EAGAIN

正确的读

<table> 
 <tbody> 
 <tr> 
 <td style="border:none; padding:0in"> n= 0; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> while((nread = read(fd, buf + n, BUFSIZ-1)) &gt; 0) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> n+= nread; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(nread == -1 &amp;&amp; errno != EAGAIN) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("readerror"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 </tbody> 
</table>

正确的写

<table> 
 <tbody> 
 <tr> 
 <td style="border:none; padding:0in"> intnwrite, data_size = strlen(buf); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> n= data_size; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> while(n &gt; 0) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> nwrite= write(fd, buf + data_size - n, n); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(nwrite &lt; n) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(nwrite == -1 &amp;&amp; errno != EAGAIN) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("writeerror"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> break; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> n-= nwrite; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 </tbody> 
</table>

正确的accept，accept要考虑2个问题  
(1)阻塞模式accept存在的问题  
考虑这种情况：TCP连接被客户端夭折，即在服务器调用accept之前，客户端主动发送RST终止连接，导致刚刚建立的连接从就绪队列中移出，如果套接口被设置成阻塞模式，服务器就会一直阻塞在accept调用上，直到其他某个客户建立一个新的连接为止。但是在此期间，服务器单纯地阻塞在accept调用上，就绪队列中的其他描述符都得不到处理。

解决办法是把监听套接口设置为非阻塞，当客户在服务器调用accept之前中止某个连接时，accept调用可以立即返回\-1，这时源自Berkeley的实现会在内核中处理该事件，并不会将该事件通知给epool，而其他实现把errno设置为ECONNABORTED或者EPROTO错误，我们应该忽略这两个错误。

(2)ET模式下accept存在的问题  
考虑这种情况：多个连接同时到达，服务器的TCP就绪队列瞬间积累多个就绪连接，由于是边缘触发模式，epoll只会通知一次，accept只处理一个连接，导致TCP就绪队列中剩下的连接都得不到处理。

解决办法是用while循环抱住accept调用，处理完TCP就绪队列中的所有连接后再退出循环。如何知道是否处理完就绪队列中的所有连接呢？accept返回\-1并且errno设置为EAGAIN就表示所有连接都处理完。

综合以上两种情况，服务器应该使用非阻塞地accept，accept在ET模式下的正确使用方式为：

<table> 
 <tbody> 
 <tr> 
 <td style="border:none; padding:0in"> while((conn_sock = accept(listenfd,(struct sockaddr *) &amp;remote,(size_t *)&amp;addrlen)) &gt; 0) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> handle_client(conn_sock); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(conn_sock == -1) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(errno != EAGAIN &amp;&amp; errno != ECONNABORTED &amp;&amp; errno!= EPROTO &amp;&amp; errno != EINTR) </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("accept"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 </tbody> 
</table>

一道腾讯后台开发的面试题  
使用Linuxepoll模型，水平触发模式；当socket可写时，会不停的触发socket可写的事件，如何处理？

第一种最普遍的方式：  
需要向socket写数据的时候才把socket加入epoll，等待可写事件。  
接受到可写事件后，调用write或者send发送数据。  
当所有数据都写完后，把socket移出epoll。

这种方式的缺点是，即使发送很少的数据，也要把socket加入epoll，写完后在移出epoll，有一定操作代价。

一种改进的方式：  
开始不把socket加入epoll，需要向socket写数据的时候，直接调用write或者send发送数据。如果返回EAGAIN，把socket加入epoll，在epoll的驱动下写数据，全部数据发送完毕后，再移出epoll。

这种方式的优点是：数据不多的时候可以避免epoll的事件处理，提高效率。

最后贴一个使用epoll,ET模式的简单HTTP服务器代码:

<table> 
 <tbody> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;sys/socket.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;sys/wait.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;netinet/in.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;netinet/tcp.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;sys/epoll.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;sys/sendfile.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;sys/stat.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;unistd.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;stdio.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;stdlib.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;string.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;strings.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;fcntl.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #include&lt;errno.h&gt; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #defineMAX_EVENTS 10 </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> #definePORT 8080 </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> //设置socket连接为非阻塞模式 </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> voidsetnonblocking(int sockfd) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> intopts; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> opts= fcntl(sockfd, F_GETFL); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(opts&lt; 0) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("fcntl(F_GETFL)\n"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> exit(1); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> opts= (opts | O_NONBLOCK); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(fcntl(sockfd,F_SETFL, opts) &lt; 0) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("fcntl(F_SETFL)\n"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> exit(1); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> intmain(){ </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> structepoll_event ev, events[MAX_EVENTS]; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> intaddrlen, listenfd, conn_sock, nfds, epfd, fd, i, nread, n; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> structsockaddr_in local, remote; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> charbuf[BUFSIZ]; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> //创建listensocket </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if((listenfd = socket(AF_INET, SOCK_STREAM, 0)) &lt; 0) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("sockfd\n"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> exit(1); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> setnonblocking(listenfd); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> bzero(&amp;local,sizeof(local)); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> local.sin_family= AF_INET; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> local.sin_addr.s_addr= htonl(INADDR_ANY);; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> local.sin_port= htons(PORT); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(bind(listenfd, (struct sockaddr *) &amp;local, sizeof(local)) &lt;0) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("bind\n"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> exit(1); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> listen(listenfd,20); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> epfd= epoll_create(MAX_EVENTS); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(epfd == -1) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("epoll_create"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> exit(EXIT_FAILURE); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> ev.events= EPOLLIN; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> ev.data.fd= listenfd; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(epoll_ctl(epfd, EPOLL_CTL_ADD, listenfd, &amp;ev) == -1) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("epoll_ctl:listen_sock"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> exit(EXIT_FAILURE); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> for(;;) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> nfds= epoll_wait(epfd, events, MAX_EVENTS, -1); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(nfds == -1) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("epoll_pwait"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> exit(EXIT_FAILURE); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> for(i = 0; i &lt; nfds; ++i) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> fd= events[i].data.fd; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(fd == listenfd) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> while((conn_sock = accept(listenfd,(struct sockaddr *) &amp;remote, </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> (size_t*)&amp;addrlen)) &gt; 0) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> setnonblocking(conn_sock); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> ev.events= EPOLLIN | EPOLLET; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> ev.data.fd= conn_sock; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(epoll_ctl(epfd, EPOLL_CTL_ADD, conn_sock, </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> &amp;ev)== -1) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("epoll_ctl:add"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> exit(EXIT_FAILURE); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(conn_sock == -1) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(errno != EAGAIN &amp;&amp; errno != ECONNABORTED </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> &amp;&amp;errno != EPROTO &amp;&amp; errno != EINTR) </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("accept"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> continue; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(events[i].events &amp; EPOLLIN) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> n= 0; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> while((nread = read(fd, buf + n, BUFSIZ-1)) &gt; 0) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> n+= nread; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(nread == -1 &amp;&amp; errno != EAGAIN) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("readerror"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> ev.data.fd= fd; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> ev.events= events[i].events | EPOLLOUT; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(epoll_ctl(epfd, EPOLL_CTL_MOD, fd, &amp;ev) == -1) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("epoll_ctl:mod"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(events[i].events &amp; EPOLLOUT) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> sprintf(buf,"HTTP/1.1 200 OK\r\nContent-Length: %d\r\n\r\nHello World",11); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> intnwrite, data_size = strlen(buf); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> n= data_size; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> while(n &gt; 0) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> nwrite= write(fd, buf + data_size - n, n); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(nwrite &lt; n) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> if(nwrite == -1 &amp;&amp; errno != EAGAIN) { </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> perror("writeerror"); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> break; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> n-= nwrite; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> close(fd); </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> return0; </td> 
 </tr> 
 <tr> 
 <td style="border:none; padding:0in"> } </td> 
 </tr> 
 </tbody> 
</table>

Tags: [epoll][]

--------------------

#### **已有****9****条评论****»** ####

[http_www.ccvita.com_515.html]: http://www.ccvita.com/515.html
[epoll]: http://www.ccvita.com/tag/epoll/