再谈Linux下的socket编程和epoll模型

雨点打透心脏的1/2处 2022-10-07 10:56 112阅读 0赞

之所以将这两件事情一起谈，是因为我认为掌握了这两个技术要点，运用在工作中，几乎能解决大部分我们面对的连接数几百个或者几千个的项目（嵌入式工程师往往只需要面对几十个至数百个连接）。  
另一方面，对socket有一个正确的认识，也有助于我们开发套接字通讯类的应用程序。

首先回顾socket客户端的流程：  
创建TCP/IP套接字，没有什么好解释的，客户端和服务器都这样：

if ((sockfd = socket(AF_INET, SOCK_STREAM, 0)) < 0)
        { 
            printf("create socket error: %s(errno: %d)\n", strerror(errno), errno);
            exit(0);
        }

然后准备好一个较为抽象的结构体，利用结构体去连接服务器，注意这里exit了所以不需要关闭套接字，实际编程如果不退出程序，请记得close(sockfd)：

struct sockaddr_in servaddr;
        memset(&servaddr, 0, sizeof(servaddr));
        servaddr.sin_family = AF_INET;
        servaddr.sin_port = htons(6666);
        if (inet_pton(AF_INET, "127.0.0.1", &servaddr.sin_addr) <= 0)
        { 
            printf("inet_pton error for %s\n", argv[1]);
            exit(0);
        }
    
        if (connect(sockfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) < 0)
        { 
            printf("connect error: %s(errno: %d)\n", strerror(errno), errno);
            exit(0);
        }

然后就可以进行套接字的读写工作了：

char *sendline = "Hello World!";
        if (send(sockfd, sendline, strlen(sendline), 0) < 0)
        { 
            printf("send msg error: %s(errno: %d)\n", strerror(errno), errno);
            exit(0);
        }
    
    	char buff[1024];
    	int nbytes = recv(sockfd, buff, sizeof buff, 0);
    	if (nbytes < 0)
    	{ 
    	    printf("recv msg error: %s(errno: %d)\n", strerror(errno), errno);
    	    if (errno == EINTR || errno == EWOULDBLOCK || errno == EAGAIN)
    	    { 
    	    	// 正常情况，继续接收
    	    } 
    	    else
    	    { 
    	        exit(0);
    	    }
    	}
    	else if (nbytes == 0)
    	{ 
    		exit(0); // 服务器主动关闭了连接
    	}

要注意recv会提示我们服务器是否主动断开了连接（服务器调用了close或服务器程序被杀死、退出、系统关机）。  
recv错误情况请参考文章《[recv函数返回值说明][recv]》。

但是这里要注意，无论send还是recv，都可能阻塞应用，这往往是我们不能接受的，尤其是recv，无论网速快慢，都会因为对方没有发送数据过来而阻塞，所以往往我们需要将套接字设置为非阻塞，将下面的代码添加到创建socket后：

int flags = fcntl(sock_fd, F_GETFL, 0);
        fcntl(sockfd, F_SETFL, flags | O_NONBLOCK);

然而一旦设置非阻塞，会导致连接的时候立即返回一个错误，我们应该通过errno去检测是否还在连接中，如果是，要将fd加入select并设置好超时时间（应对超时时间可设置的需求），在select返回时检测是否连接成功。而对于写操作，再也不会阻塞了。对于读操作，则需要利用select或epoll机制将fd加入队列，等待select或epoll\_wait返回（这里也有一个超时时间可以设置），先不展开，后面讲。

再来回顾socket创建服务器的流程：  
创建socket的步骤同客户端，不再赘述。  
仍然建议将套接字设置为非阻塞的，除非你的应用不收数据就不工作。  
对于服务器，还要担心主动关闭程序后可能有TIMEWAIT状态的连接，导致应用不能立即再次运行，我们设置套接字为可重用模式：

int one = 1;
        if (setsockopt(listenfd, SOL_SOCKET, SO_REUSEADDR, &one, sizeof(one)) < 0)
        { 
            printf("setsockopt error: %s(errno: %d)\n", strerror(errno), errno);
            exit(0);
        }

然后进行bind和listen，这里的bind和listen无论套接字是否阻塞模式都不会阻塞。  
然而要注意：listen里的第二个参数的意义，参考《[Listen第二个参数的意义][Listen]》，如果我们的服务器有单独的线程一直在等待accept，那么第二个参数无论设置为1、2、3、4、N都无所谓，对方都会感觉到连接服务器很顺畅。

memset(&servaddr, 0, sizeof(servaddr));
        servaddr.sin_family = AF_INET;
        servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
        servaddr.sin_port = htons(6666);
    
        if (bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr)) == -1)
        { 
            printf("bind socket error: %s(errno: %d)\n", strerror(errno), errno);
            exit(0);
        }
    
        if (listen(listenfd, 10) == -1)
        { 
            printf("listen socket error: %s(errno: %d)\n", strerror(errno), errno);
            exit(0);
        }

然而既然套接字是非阻塞模型，直接调用accept已经不适合了。我们开始学习epoll，关于epoll与poll、select的区别和优势可以参考这篇文章《[linux 高并发网络编程之epoll详解][linux _epoll]》。

struct epoll_event ev, events[5];                  // ev用于注册事件，数组用于返回要处理的事件，实际使用中可以调整大一些，比如用50，100甚至500
        int epfd = epoll_create(5);                        // 每次检测最大数量，建议跟events的数组个数保持一致
        ev.data.fd = listenfd;                             // 要监视的文件描述符，可以是任何打开的在/proc/pid/fd/目录下的fd
        ev.events = EPOLLIN | EPOLLET;                     // 监听读状态同时设置ET模式
        epoll_ctl(epfd, EPOLL_CTL_ADD, listenfd, &ev); // 注册epoll事件
    
        printf("======waiting for client's request======\n");
        while (1)
        { 
            int nfds = epoll_wait(epfd, events, 5, -1);
            for (int i = 0; i < nfds; i++)
            { 
                if (events[i].data.fd == listenfd)
                { 
                    int connfd;
                    if ((connfd = accept(listenfd, (struct sockaddr *)NULL, NULL)) == -1)
                    { 
                        printf("accept socket error: %s(errno: %d)", strerror(errno), errno);
                        continue;
                    }
                    int flags = fcntl(connfd, F_GETFL, 0);
                    fcntl(connfd, F_SETFL, flags | O_NONBLOCK);
                    ev.data.fd = connfd;                             // 要监视的文件描述符，可以是任何打开的在/proc/pid/fd/目录下的fd
                    ev.events = EPOLLIN | EPOLLET;                     // 监听读状态同时设置ET模式
                    epoll_ctl(epfd, EPOLL_CTL_ADD, connfd, &ev); // 注册epoll事件
                }
                else
                { 
                    int sockfd = events[i].data.fd;
                    char buff[1024];
                    int nbytes = recv(sockfd, buff, sizeof buff, 0);
                    if (nbytes < 0)
                    { 
                        printf("recv msg error: %s(errno: %d)\n", strerror(errno), errno);
                        if (errno == EINTR || errno == EWOULDBLOCK || errno == EAGAIN)
                        { 
                            // 正常情况，继续接收
                        }
                        else
                        { 
                            close(fd);
                        }
                    }
                    else if (nbytes == 0)
                    { 
                        close(fd); // 客户端主动关闭了连接
                    }
                }
            }
        }

注意：epoll\_create的参数参考文章《[【Linux学习】epoll详解][Linux_epoll]》。  
另外events数组个数其实无论设置为5个、50个、100个甚至500个对于连接不多的应用来说，问题都不大，我们只要保证CPU始终有机会能处理到epoll\_wait就可以了，内核会将套接字分批返回。  
而对于epoll的EPOLLET参数，有ET模式和LT模式两种，一定要了解其含义：

LT模式：电平触发，当 epoll\_wait 检测到描述符事件发生并将此事件通知应用程序，应用程序可以不立即处理该事件。下次调用 epoll\_wait 时，会再次响应应用程序并通知此事件。

ET模式：边沿触发，当 epoll\_wait 检测到描述符事件发生并将此事件通知应用程序，应用程序必须立即处理该事件。如果不处理，下次调用 epoll\_wait 时，不会再次响应应用程序并通知此事件。

ET 模式在很大程度上减少了 epoll 事件被重复触发的次数，因此效率要比 LT 模式高。epoll 工作在 ET 模式的时候，必须使用非阻塞套接口，以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。  
————————————————  
版权声明：本文为CSDN博主「岁月斑驳7」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。  
原文链接：https://blog.csdn.net/qq\_19923217/article/details/81943705

既然用ET模式，我们在recv时一定要用while(1)循环，调用recv直到无数据为止，且套接字一定是非阻塞模式。

另外注意，epoll接口对Linux内核版本有要求：  
它是在2.5.44内核中被引进的(epoll(4) is a new API introduced in Linux kernel 2.5.44)。  
所以，先检查一下你的运行环境，内核版本是否大于等于这个版本吧。

[recv]: https://blog.csdn.net/henry115/article/details/7054603
[Listen]: https://www.cnblogs.com/ztteng/p/5147156.html
[linux _epoll]: https://blog.csdn.net/mengzuchao/article/details/81294554
[Linux_epoll]: https://blog.csdn.net/xiajun07061225/article/details/9250579