TIME_WAIT 你好！

清疚 2022-01-10 05:39 276阅读 0赞

[root@vm-10-124-66-212 ~]# netstat  -an|awk -F ' ' '{print $NF}'|sort |uniq -c |sort -rn|more
       5552 TIME_WAIT
        631 ESTABLISHED
         22 SYN_RECV
         10 LISTEN

dmesg Log：

TCP: time wait bucket table overflow

TCP: time wait bucket table overflow产生原因及影响：原因是超过了linux系统tw数量的阀值。危害是超过阀值后﹐系统会把多余的time-wait socket 删除掉，并且显示警告信息，

先从机器的现状来说起，我机器的time\_wait数量较多，以上的数据是非高峰期的机器现状，下面需要进一步了解一下time\_wait，看看是否需要优化，可以先从下面三个方面入手去了解。

1.  TIME\_WAIT 是什么？如何产生的呢？
2.  TIME\_WAIT存在起到什么作用？
3.  TIME\_WAIT过多我们应该怎么办？

## 1.TIME\_WAIT是什么？如何产生？ ##

TIME\_WAIT 是在TCP协议中的一种状态，他是产生在四次断连时主动发起申请的一方，为什么会出现这种状态呢？（如图）主动方在最后发送ack包时被动方直接进入close状态，因为B服务器认为A已经收到了我的ACK包，通话结束了，但是A此时并不知道B是否收到了我的ACK包，如果B没收到的话B还会给我重复发送FIN开启TCP重传，所以进入了等待状态TIME\_WAIT，在等待2MSL后将进入CLOSED状态。

### 为什么是2MSL呢？ ###

linux里一个MSL为30s，去向ACK消息最大存活时间（MSL) + 来向FIN消息的最大存活时间(MSL) = 2MSL，最大报文存活时间的2倍，确保延迟报文不会被新连接接收

![549280-20190326120931937-309620717.png][]

## 2.TIME\_WAIT存在起到什么作用？ ##

TIME\_WAIT进入等待状态，如果不等，释放的端口可能会重连刚断开的服务器端口，这样依然存活在网络里的老的TCP报文可能与新TCP连接报文冲突，造成数据冲突，为避免此种情况，需要耐心等待网络老的TCP连接的活跃报文全部死翘翘，2MSL时间可以满足这个需求，如果强制忽略TIME\_WAIT，还是有很高的机率，造成数据错乱，或者短暂性的连接失败。

## 3.TIME\_WAIT过多我们应该怎么办？ ##

TIME\_WAIT连接如果没到达一定量级比如几千，其实可以不用处理的，其实对cpu和内存消耗很小，如果需要调优的话，可以深入了解一下背后的一些参数，防止出现影响业务情况。

**1.tcp\_max\_tw\_buckets** 表示系统同时保持TIME\_WAIT套接字的最大数量，如果超过这个数字，TIME\_WAIT套接字将立刻被清除并打印警告信息

从机器的TIME\_WAIT和LOAD负载对比来看，我觉得并没有对机器对性能产生很直观对影响，我选择不变更tcp\_max\_tw\_buckets参数，起码不会让它变得更小，如果系统出现TCP: time wait bucket table overflow报错的话，请适当调大一些

![549280-20190327105330202-1589189089.png][]

![549280-20190327105407855-2060295784.png][]

**2.net.ipv4.tcp\_fin\_timeout**  对于本端断开的socket连接，TCP保持在FIN-WAIT-2状态的时间（秒）。对方可能会断开连接或一直不结束连接或不可预料的进程死亡默认是60s，可以调整为30s

3.**net.ipv4.tcp\_timestamps** RFC 1323 在 TCP Reliability一节里，引入了timestamp的TCP option，两个4字节的时间戳字段，其中第一个4字节字段用来保存发送该数据包的时间，第二个4字节字段用来保存最近一次接收对方发送到数据的时间。有了这两个时间字段，也就有了后续优化的余地，**tcp\_tw\_reuse，tcp\_tw\_recycle优化依赖tcp\_timestamps参数**

**4.net.ipv4.tcp\_tw\_reuse** 是否允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭

**5.net.ipv4.tcp\_tw\_recycle** 是否开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>默认配置</th> 
   <th>调整配置</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>fs.file-max</td> 
   <td>1048576</td> 
   <td>9999999</td> 
   <td>所有进程打开的文件描述符数</td> 
  </tr> 
  <tr> 
   <td>fs.nr_open</td> 
   <td>1635590</td> 
   <td>1635590</td> 
   <td>单个进程可分配的最大文件数</td> 
  </tr> 
  <tr> 
   <td>net.core.rmem_default</td> 
   <td>124928</td> 
   <td>262144</td> 
   <td>默认的TCP读取缓冲区</td> 
  </tr> 
  <tr> 
   <td>net.core.wmem_default</td> 
   <td>124928</td> 
   <td>262144</td> 
   <td>默认的TCP发送缓冲区</td> 
  </tr> 
  <tr> 
   <td>net.core.rmem_max</td> 
   <td>124928</td> 
   <td>8388608</td> 
   <td>默认的TCP最大读取缓冲区</td> 
  </tr> 
  <tr> 
   <td>net.core.wmem_max</td> 
   <td>124928</td> 
   <td>8388608</td> 
   <td>默认的TCP最大发送缓冲区</td> 
  </tr> 
  <tr> 
   <td>net.ipv4.tcp_wmem</td> 
   <td>4096 16384 4194304</td> 
   <td>4096 16384 8388608</td> 
   <td>TCP发送缓冲区</td> 
  </tr> 
  <tr> 
   <td>net.ipv4.tcp_rmem</td> 
   <td>4096 87380 4194304</td> 
   <td>4096 87380 8388608</td> 
   <td>TCP读取缓冲区</td> 
  </tr> 
  <tr> 
   <td>net.ipv4.tcp_mem</td> 
   <td>384657 512877 769314</td> 
   <td>384657 512877 3057792</td> 
   <td>TCP内存大小</td> 
  </tr> 
  <tr> 
   <td>net.core.netdev_max_backlog</td> 
   <td>1000</td> 
   <td>5000</td> 
   <td>在每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目</td> 
  </tr> 
  <tr> 
   <td>net.core.optmem_max</td> 
   <td>20480</td> 
   <td>81920</td> 
   <td>每个套接字所允许的最大缓冲区的大小</td> 
  </tr> 
  <tr> 
   <td>net.core.somaxconn</td> 
   <td>128</td> 
   <td>2048</td> 
   <td>每一个端口最大的监听队列的长度，这是个全局的参数</td> 
  </tr> 
  <tr> 
   <td>net.ipv4.tcp_fin_timeout</td> 
   <td>60</td> 
   <td>30</td> 
   <td>对于本端断开的socket连接，TCP保持在FIN-WAIT-2状态的时间（秒）。对方可能会断开连接或一直不结束连接或不可预料的进程死亡</td> 
  </tr> 
  <tr> 
   <td>net.core.netdev_max_backlog</td> 
   <td>1000</td> 
   <td>10000</td> 
   <td>在每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目</td> 
  </tr> 
  <tr> 
   <td>net.ipv4.tcp_max_syn_backlog</td> 
   <td>1024</td> 
   <td>2048</td> 
   <td>对于还未获得对方确认的连接请求，可保存在队列中的最大数目。如果服务器经常出现过载，可以尝试增加这个数字</td> 
  </tr> 
  <tr> 
   <td>net.ipv4.tcp_max_tw_buckets</td> 
   <td>5000</td> 
   <td>5000</td> 
   <td>系统在同时所处理的最大timewait sockets数目</td> 
  </tr> 
  <tr> 
   <td>net.ipv4.tcp_tw_reuse</td> 
   <td>0</td> 
   <td>1</td> 
   <td>是否允许将TIME-WAIT sockets重新用于新的TCP连接</td> 
  </tr> 
  <tr> 
   <td>net.ipv4.tcp_keepalive_time</td> 
   <td>7200</td> 
   <td>900</td> 
   <td>表示TCP链接在多少秒之后没有数据报文传输时启动探测报文（发送空的报文）</td> 
  </tr> 
  <tr> 
   <td>net.ipv4.tcp_keepalive_intvl</td> 
   <td>75</td> 
   <td>30</td> 
   <td>表示前一个探测报文和后一个探测报文之间的时间间隔</td> 
  </tr> 
  <tr> 
   <td>net.ipv4.tcp_keepalive_probes</td> 
   <td>9</td> 
   <td>3</td> 
   <td>表示探测的次数</td> 
  </tr> 
 </tbody> 
</table>

> **总结：**
> 
> tcp\_tw\_reuse 和 tcp\_tw\_recycle 参数会大大的降低TIME\_WAIT连接存在，但调整不当也会导致数据错乱的危险。
> 
> 完整的了解完TIME\_WAIT以后也就无需因为看见大量TIME\_WAIT而恐慌

参考：https://blog.oldboyedu.com/tcp-wait/

参考：https://blog.51cto.com/benpaozhe/1767612

参考：https://kiswo.com/article/1017

转载于:https://www.cnblogs.com/liuquan/p/10600053.html

[549280-20190326120931937-309620717.png]: /images/20220109/c040c7fcbe8d489b8a94d4d935c624cc.png
[549280-20190327105330202-1589189089.png]: /images/20220109/2dd837fa87314e0294198abc3c28240c.png
[549280-20190327105407855-2060295784.png]: /images/20220109/e5fdd26ac160456cbfc806a747df6ffb.png