tcp_tw_recycle引起的TCP握手失败

怼烎@ 2023-03-01 12:35 14阅读 0赞

## 背景 ##

测试环境的一台Nginx服务器，最近一直被前端同事吐槽网络有问题，经常出现访问HTTP请求时超时，哪怕是静态文件也经常超时。

刚开始以为是公司网络抽风了，也就没放在心上，但持续了一个星期，而且复现率很高，这才反应过来应该不是网络的锅。于是在请求客户端与Nginx服务器上均作了抓包。

本地客户端抓包结果如下图1，请求Nginx服务器TCP握手时超时。结果似乎很明朗，客户端TCP握手的`SYN`请求丢包导致多次重试，直到重试超时而TCP握手失败。看上去似乎就是网络问题，但这复现率也太高了，于是在服务器上也做了一次抓包。

图2为Nginx服务器抓包图，显示服务器接收到了TCP握手请求，但是未做应答，直到客户端重试超时结束。很明显，并不是网络丢包而导致的TCP握手失败，而是某种机制导致的服务器直接抛弃了客户端的请求报文。

![在这里插入图片描述][20200725163024636.png]  
![20200725163050337.png][]

## 复现 ##

#### 准备 ####

准备两个Client机器(192.168.50.150、192.168.50.160)以及一个Server机器(118.24.117.115)，并且两个Client机器均处于同一个NAT网关下(116.239.x.x)。

![在这里插入图片描述][20200725163108435.png]

启用两个Client机器`TIME-WAIT`连接快速回收，编辑文件`/etc/sysctl.conf`，添加或修改以下参数：

net.ipv4.tcp_tw_recycle = 1

然后执行命令使`sysctl.conf`的参数生效：

[root@VM_0_10_centos ~]# /sbin/sysctl -p
    [root@VM_0_10_centos ~]# cat /proc/sys/net/ipv4/tcp_tw_recycle 
    1

#### 复现步骤 ####

1.  Client1机器请求Server，Client1抓包和Server抓包如下两张图，TCP握手成功：

![在这里插入图片描述][20200725163131887.png]

![在这里插入图片描述][20200725163139384.png]

1.  Client2机器请求Server，Client2抓包和Server抓包如下两张图，TCP握手成功：

![在这里插入图片描述][20200725163152643.png]

![在这里插入图片描述][20200725163200200.png]

1.  Client1机器再次请求Server，Client1抓包和Server抓包如下两张图，TCP握手失败，复现成功：

![在这里插入图片描述][20200725163211782.png]

![在这里插入图片描述][20200725163219880.png]

通过`netstat -s`命令查看网络统计时，可以发现每次复现出TCP握手失败后，如下的一行统计值都会对应增长。

[root@VM_0_10_centos ~]# netstat -s | grep timestamp
        2143 packets rejects in established connections because of timestamp

## 原理 ##

#### PAWS机制 ####

[Per-host PAWS机制][Per-host PAWS]

> PAWS uses the same TCP Timestamps option as the RTTM mechanism described earlier, and assumes that every received TCP segment (including data and ACK segments) contains a timestamp SEG.TSval whose values are monotone non-decreasing in time. The basic idea is that a segment can be discarded as an old duplicate if it is received with a timestamp SEG.TSval less than some timestamp recently received on this connection.

PAWS机制是基于客户端IP而非客户端IP+端口号的，当服务端开启了`net.ipv4.tcp_tw_recycle`后，服务端会对`SYN`报文做时间戳检查。每当快速回收`TIME_WAIT`连接后，会在60秒缓存该客户端IP的`TSval`时间戳。在这60秒内如果同一个IP再发起`SYN`请求时，会校验新请求的`TSval`是否大于缓存的`TSval`，保证同一个请求方IP的`TSval`时间戳是递增的。而对于非递增的`SYN`请求则直接丢弃处理。

TSval并非真正的时间戳，而是由时间戳依据一定算法算出来的一个值，与时间戳有同等的特性，即随时间单调递增；

如上复现操作时的图，由于Client1和Client2处于同一个NAT网关下，对于Server来说，Client1和Client2的IP相同均为NAT网关的IP。

1.  当Client1请求Server时，IP(116.239.x.x)的时间戳值`TSval`为1853021;
2.  当Client2请求Server时，IP(116.239.x.x)的时间戳值`TSval`为1927141;
3.  当Client1再次请求Server时，IP(116.239.x.x)的时间戳值`TSval`为1864558;

当步骤3请求时，对于Server来说，IP(116.239.x.x)的`TSval`时间戳小于上次请求的时间戳，因此该`SYN`请求直接被丢弃了，导致TCP握手失败。

#### Linux内核的实现 ####

Linux内核源码中，对于PAWS机制的实现很简单，如果客户端的TCP报文中启用了`timestamp option`，且服务端启用了`net.ipv4.tcp_tw_recycle`，则会触发PAWS机制检查。

[tcp\_ipv4.c][tcp_ipv4.c]

int tcp_v4_conn_request(struct sock *sk, struct sk_buff *skb)
    { 
    ...
    
        /* VJ's idea. We save last timestamp seen * from the destination in peer table, when entering * state TIME-WAIT, and check against it before * accepting new connection request. * * If "isn" is not zero, this request hit alive * timewait bucket, so that all the necessary checks * are made in the function processing timewait state. */
        if (tmp_opt.saw_tstamp &&   // TCP报文中启用了timestamp option
            tcp_death_row.sysctl_tw_recycle &&  // 开启了net.ipv4.tcp_tw_recycle
            (dst = inet_csk_route_req(sk, &fl4, req)) != NULL &&
            fl4.daddr == saddr) {    // 仅判断源IP相同,不区分端口号
        	if (!tcp_peer_is_proven(req, dst, true)) { 
        		NET_INC_STATS_BH(sock_net(sk), LINUX_MIB_PAWSPASSIVEREJECTED);
        		goto drop_and_release;
        	}
        }
    
    ...
    }

[tcp\_metrics.c][tcp_metrics.c]

bool tcp_peer_is_proven(struct request_sock *req, struct dst_entry *dst, bool paws_check)
    { 
    	struct tcp_metrics_block *tm;
    	bool ret;
    
    	if (!dst)
    		return false;
    
    	rcu_read_lock();
    	tm = __tcp_get_metrics_req(req, dst);
    	if (paws_check) { 
    		if (tm &&
    		    // peer 信息保存的时间离现在在60秒(TCP_PAWS_MSL)之内
    		    (u32)get_seconds() - tm->tcpm_ts_stamp < TCP_PAWS_MSL &&
    		    // peer 信息中保存的timestamp 比当前收到的SYN报文中的timestamp大1(TCP_PAWS_WINDOW)
    		    (s32)(tm->tcpm_ts - req->ts_recent) > TCP_PAWS_WINDOW)
    			ret = false;
    		else
    			ret = true;
    	} else { 
    		if (tm && tcp_metric_get(tm, TCP_METRIC_RTT) && tm->tcpm_ts_stamp)
    			ret = true;
    		else
    			ret = false;
    	}
    	rcu_read_unlock();
    
    	return ret;
    }

## 解决 ##

关闭TCP的`TIME_WAIT`快速回收功能即可：编辑文件`/etc/sysctl.conf`，添加或修改以下参数：

net.ipv4.tcp_tw_recycle = 0

然后执行命令使`sysctl.conf`的参数生效：

[root@VM_0_10_centos ~]# /sbin/sysctl -p
    [root@VM_0_10_centos ~]# cat /proc/sys/net/ipv4/tcp_tw_recycle 
    0

## 疑问 ##

查看Linux内核源码后发现，触发PAWS机制检查的前提条件之一是客户端的TCP请求携带了`timestamp option`，如下图1。但是当使用Windows操作系统时，客户端默认关闭了`timestamp option`，通过抓包也显示TCP请求中未携带`timestamp option`，却依然触发了PAWS机制，如下图2。

![在这里插入图片描述][20200725163231993.png]

![在这里插入图片描述][20200725163239560.png]

## 参考 ##

1.  [Linux内核协议栈丢弃SYN报文的主要场景剖析][Linux_SYN]
2.  [Tcp tw recycle打开导致60s内不能两个用户同时登录][Tcp tw recycle_60s]
3.  [开启tcp\_tw\_recycle内核参数在NAT环境会丢包][tcp_tw_recycle_NAT]

[20200725163024636.png]: /images/20230208/19360ca8d9844981a21ab4691e077e12.png
[20200725163050337.png]: /images/20230208/21d4c7c256c3473cabea6f1efebc7977.png
[20200725163108435.png]: /images/20230208/5617d2742ffe4508a614f3522fc5405a.png
[20200725163131887.png]: /images/20230208/cd31956e0d9c4662924062c2ca9ebceb.png
[20200725163139384.png]: /images/20230208/d472ca03932a4b21a5500cfeebecf3ca.png
[20200725163152643.png]: /images/20230208/231ee60c92be424694cb162057aa848c.png
[20200725163200200.png]: /images/20230208/28c5c91795cd403185d5b0ffa6ef3c6e.png
[20200725163211782.png]: /images/20230208/61655795eea94fa7a383ba4b94e2b39f.png
[20200725163219880.png]: /images/20230208/930d7230f48b4cccbf06c5138b91b361.png
[Per-host PAWS]: https://www.freesoft.org/CIE/RFC/1323/13.htm
[tcp_ipv4.c]: https://elixir.bootlin.com/linux/v3.10/source/net/ipv4/tcp_ipv4.c#L1540
[tcp_metrics.c]: https://elixir.bootlin.com/linux/v3.10/source/net/ipv4/tcp_metrics.c#L536
[20200725163231993.png]: /images/20230208/470e4aa29f97450297793ab71d60b4d3.png
[20200725163239560.png]: /images/20230208/78b87fb7ff154d4284f0c48b562f4dd5.png
[Linux_SYN]: https://yq.aliyun.com/articles/703350#
[Tcp tw recycle_60s]: https://wiki.linuxchina.net/index.php/Tcp_tw_recycle%E6%89%93%E5%BC%80%E5%AF%BC%E8%87%B460s%E5%86%85%E4%B8%8D%E8%83%BD%E4%B8%A4%E4%B8%AA%E7%94%A8%E6%88%B7%E5%90%8C%E6%97%B6%E7%99%BB%E5%BD%95
[tcp_tw_recycle_NAT]: https://imroc.io/posts/lost-packets-once-enable-tcp-tw-recycle/