Resin服务器出现大量的ESTABLISHED和TIME_WAIT连接造成响应缓慢

矫情吗；* 2022-06-07 07:45 296阅读 0赞

Resin服务的端口为8080，执行 lsof -i:8080 命令出现大量的ESTABLISHED连接：

然后执行netstat -n | awk ‘/^tcp/ \{++y\[$NF\]\} END \{for(w in y) print w, y\[w\]\}’ 命令发现存在大量状态为TIME\_WAIT的连接：

简单来说，  
**ESTABLISHED**表示正在进行网络连接的数量，  
**TIME\_WAIT**表示表示等待系统主动关闭网络连接的数量，  
**CLOSE\_WAIT**表示被动等待程序关闭的网络连接数量，因此TIME\_WAIT跟服务器的配置有关，而CLOSE\_WAIT跟程序进行网络连接有关了，通常是程序没有主动关闭网络连接所致。

上图中显然TIME\_WAIT的数量太多了，需要对服务器进行配置。对 /etc/sysctl.conf 文件做如下设置（包含每个配置项的说明）：

//*对于一个新建连接，内核要发送多少个 SYN 连接请求才决定放弃,不应该大于255，默认值是5，对应于180秒左右时间 
    net.ipv4.tcp_syn_retries=2 
    #net.ipv4.tcp_synack_retries=2 
    //表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为300秒 
    net.ipv4.tcp_keepalive_time=1200 
    net.ipv4.tcp_orphan_retries=3 
    //表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间 
    net.ipv4.tcp_fin_timeout=30   
    //表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数。 
    net.ipv4.tcp_max_syn_backlog = 4096 
    //表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭 
    net.ipv4.tcp_syncookies = 1 
    
    //表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭 
    net.ipv4.tcp_tw_reuse = 1 
    //表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭
    net.ipv4.tcp_tw_recycle = 1 
    
    //减少超时前的探测次数 
    net.ipv4.tcp_keepalive_probes=5   
    //优化网络设备接收队列 
    net.core.netdev_max_backlog=3000

修改保存之后执行 /sbin/sysctl -p让参数生效即可。这里需要说明几点：  
(1) net.ipv4.tcp\_tw\_reuse和net.ipv4.tcp\_tw\_recycle的开启都是为了回收处于TIME\_WAIT状态的资源，net.ipv4.tcp\_fin\_timeout这个时间可以减少在异常情况下服务器从FIN-WAIT-2转到TIME\_WAIT的时间，net.ipv4.tcp\_keepalive\_\*一系列参数，是用来设置服务器检测连接存活的相关配置。

(2) 如果客户端访问是NAT网络，不要开启net.ipv4.tcp\_tw\_recycle或者在服务端关闭time stamp (echo 0 /proc/sys/net/ipv4/tcp\_timestamps)，参考这篇文章：[不要在linux上启用net.ipv4.tcp\_tw\_recycle参数][linux_net.ipv4.tcp_tw_recycle]和[【经验总结】tcp\_tw\_recycle参数引发的故障][tcp_tw_recycle]。  
(3) Windows服务器的解决方法请参考这篇文字：[在 Windows 上遇到非常多 TIME\_WAIT 連線時應如何處理][Windows _ TIME_WAIT]。

另外如果出现大量的CLOSE\_WAIT说明程序在进行网络连接的时候没有主动关闭连接，比如使用HttpClient调用网络连接的时候，当出现错误的时候没有调用abort()方法，或者网络连接结束之后没有调用close方法等等，具体在源代码中进行排查即可。

[linux_net.ipv4.tcp_tw_recycle]: http://www.cnxct.com/coping-with-the-tcp-time_wait-state-on-busy-linux-servers-in-chinese-and-dont-enable-tcp_tw_recycle/
[tcp_tw_recycle]: http://blog.csdn.net/wireless_tech/article/details/6405755
[Windows _ TIME_WAIT]: https://blog.miniasp.com/post/2010/11/17/How-to-deal-with-TIME_WAIT-problem-under-Windows.aspx