Linux服务器内核网络参数优化

╰半橙微兮° 2024-04-18 14:04 65阅读 0赞

net.core.netdev_max_backlog = 400000
    #该参数决定了，网络设备接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。
     
    net.core.optmem_max = 10000000
    #该参数指定了每个套接字所允许的最大缓冲区的大小
     
    net.core.rmem_default = 10000000
    #指定了接收套接字缓冲区大小的缺省值（以字节为单位）。
     
    net.core.rmem_max = 10000000
    #指定了接收套接字缓冲区大小的最大值（以字节为单位）。
     
    net.core.somaxconn = 100000
    #Linux kernel参数，表示socket监听的backlog(监听队列)上限
     
    net.core.wmem_default = 11059200
    #定义默认的发送窗口大小；对于更大的 BDP 来说，这个大小也应该更大。
     
    net.core.wmem_max = 11059200
    #定义发送窗口的最大大小；对于更大的 BDP 来说，这个大小也应该更大。
     
    net.ipv4.conf.all.rp_filter = 1
    net.ipv4.conf.default.rp_filter = 1
    #严谨模式 1 (推荐)
    #松散模式 0
     
    net.ipv4.tcp_congestion_control = bic
    #默认推荐设置是 htcp
    #拥塞控制
    /proc/sys/net/ipv4/tcp_congestion_control   当前使用的拥塞算法，默认为cubic
    具体有reno, vegas, cubic, bbr 算法等。
     
    net.ipv4.tcp_window_scaling = 0
    #关闭tcp_window_scaling
    #启用 RFC 1323 定义的 window scaling；要支持超过 64KB 的窗口，必须启用该值。
     
    net.ipv4.tcp_ecn = 0
    #把TCP的直接拥塞通告(tcp_ecn)关掉
     
    net.ipv4.tcp_sack = 1
    #关闭tcp_sack
    #启用有选择的应答（Selective Acknowledgment），
    #这可以通过有选择地应答乱序接收到的报文来提高性能（这样可以让发送者只发送丢失的报文段）；
    #（对于广域网通信来说）这个选项应该启用，但是这会增加对 CPU 的占用。
     
    net.ipv4.tcp_max_tw_buckets = 10000
    #表示系统同时保持TIME_WAIT套接字的最大数量
     
    net.ipv4.tcp_max_syn_backlog = 8192
    #表示SYN队列长度，默认1024，改成8192，可以容纳更多等待连接的网络连接数。
     
    net.ipv4.tcp_syncookies = 1
    #表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；
     
    net.ipv4.tcp_timestamps = 1
    #开启TCP时间戳
    #以一种比重发超时更精确的方法（请参阅 RFC 1323）来启用对 RTT 的计算；为了实现更好的性能应该启用这个选项。
     
    net.ipv4.tcp_tw_reuse = 1
    #表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；
     
    net.ipv4.tcp_tw_recycle = 1
    #表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。
     
    net.ipv4.tcp_fin_timeout = 10
    #表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。
     
    net.ipv4.tcp_keepalive_time = 1800
    #表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为30分钟。
     
    net.ipv4.tcp_keepalive_probes = 3
    #如果对方不予应答，探测包的发送次数
     
    net.ipv4.tcp_keepalive_intvl = 15
    #keepalive探测包的发送间隔
     
    net.ipv4.tcp_mem
    #确定 TCP 栈应该如何反映内存使用；每个值的单位都是内存页（通常是 4KB）。
    #第一个值是内存使用的下限。
    #第二个值是内存压力模式开始对缓冲区使用应用压力的上限。
    #第三个值是内存上限。在这个层次上可以将报文丢弃，从而减少对内存的使用。对于较大的 BDP 可以增大这些值（但是要记住，其单位是内存页，而不是字节）。
     
    net.ipv4.tcp_rmem
    #与 tcp_wmem 类似，不过它表示的是为自动调优所使用的接收缓冲区的值。
    net.ipv4.tcp_rmem = 4096 87380 4194304
    #TCP接收缓冲大小，对应最小、默认、最大
    
     
    net.ipv4.tcp_wmem = 30000000 30000000 30000000
    #为自动调优定义每个 socket 使用的内存。
    #第一个值是为 socket 的发送缓冲区分配的最少字节数。
    #第二个值是默认值（该值会被 wmem_default 覆盖），缓冲区在系统负载不重的情况下可以增长到这个值。
    #第三个值是发送缓冲区空间的最大字节数（该值会被 wmem_max 覆盖）。
     
    net.ipv4.ip_local_port_range = 1024 65000
    #表示用于向外连接的端口范围。缺省情况下很小：32768到61000，改为1024到65000。
     
    net.ipv4.netfilter.ip_conntrack_max=204800
    #设置系统对最大跟踪的TCP连接数的限制
     
    net.ipv4.tcp_slow_start_after_idle = 0
    #关闭tcp的连接传输的慢启动，即先休止一段时间，再初始化拥塞窗口。
     
    net.ipv4.route.gc_timeout = 100
    #路由缓存刷新频率，当一个路由失败后多长时间跳到另一个路由，默认是300。
     
    net.ipv4.tcp_syn_retries = 1
    #在内核放弃建立连接之前发送SYN包的数量。
     
    net.ipv4.icmp_echo_ignore_broadcasts = 1
    # 避免放大攻击
     
    net.ipv4.icmp_ignore_bogus_error_responses = 1
    # 开启恶意icmp错误消息保护
     
    net.inet.udp.checksum=1
    #防止不正确的udp包的攻击
     
    net.ipv4.conf.default.accept_source_route = 0
    #是否接受含有源路由信息的ip包。参数值为布尔值，1表示接受，0表示不接受。
    #在充当网关的linux主机上缺省值为1，在一般的linux主机上缺省值为0。
    #从安全性角度出发，建议你关闭该功能。
    
    #SYN ACK重试次数
    net.ipv4.tcp_synack_retries=2
    
    #超时重传
    /proc/sys/net/ipv4/tcp_retries1 底层IP接管前TCP最少执行的重传次数，默认3
    /proc/sys/net/ipv4/tcp_retries2 最多执行的重传次数，默认15
    
    三. 基础概念
    1. 交互数据
    实时性较高场合，nagle算法攒够数据后发送，减少网络上微小tcp报文段数量。
    
    2. 成块数据
    ftp大文件下载场合，接收端一次性ACK多条报文。
    
    3. 拥塞控制
    慢启动 cwnd=(N, SMSS)
    拥塞避免 cwnd=smss*smss/cwnd  避免cwnd线性增长
    快速重传 cwnd=ssthresh+3*SMSS 收到3条重复ACK报文后，即认为有数据包丢失，则源端重传丢失的数据包，而不必等待
    
    RTO超时。
    快速恢复 cwnd=cwnd+smss 每次收到1重复ACK时，增大cwnd

【net】
    ######################## cat /proc/sys/net/ipv4/tcp_syncookies
    # 默认值：1
    # 作用：是否打开SYN Cookie功能，该功能可以防止部分SYN攻击
    net.ipv4.tcp_syncookies = 1
     
    ######################## cat /proc/sys/net/ipv4/ip_local_port_range
    # 默认值：32768   61000
    # 作用：可用端口的范围
    net.ipv4.ip_local_port_range = 1024  65535
     
    ######################## cat /proc/sys/net/ipv4/tcp_fin_timeout 
    # 默认值：60
    # 作用：TCP时间戳
    net.ipv4.tcp_fin_timeout = 30
     
    ######################## cat /proc/sys/net/ipv4/tcp_timestamps 
    # 默认值：1
    # 作用：TCP时间戳
    net.ipv4.tcp_timestamps = 1
     
    ######################## cat /proc/sys/net/ipv4/tcp_tw_recycle
    # 默认值：0
    # 作用：针对TIME-WAIT，不要开启。不少文章提到同时开启tcp_tw_recycle和tcp_tw_reuse，会带来C/S在NAT方面的异常
    # 个人接受的做法是，开启tcp_tw_reuse，增加ip_local_port_range的范围，减小tcp_max_tw_buckets和tcp_fin_timeout的值
    # 参考：http://ju.outofmemory.cn/entry/91121, http://www.cnblogs.com/lulu/p/4149312.html
    net.ipv4.tcp_tw_recycle = 0
     
    ######################## cat /proc/sys/net/ipv4/tcp_tw_reuse
    # 默认值：0
    # 作用：针对TIME-WAIT，做为客户端可以启用（例如，作为nginx-proxy前端代理，要访问后端的服务）
    net.ipv4.tcp_tw_reuse = 1
     
    ######################## cat /proc/sys/net/ipv4/tcp_max_tw_buckets 
    # 默认值：262144
    # 作用：针对TIME-WAIT，配置其上限。如果降低这个值，可以显著的发现time-wait的数量减少，但系统日志中可能出现如下记录：
    # kernel: TCP: time wait bucket table overflow
    # 对应的，如果升高这个值，可以显著的发现time-wait的数量增加。
    # 综合考虑，保持默认值。
    net.ipv4.tcp_max_tw_buckets = 262144
     
    ######################## cat /proc/sys/net/ipv4/tcp_max_orphans 
    # 默认值：16384
    # 作用：orphans的最大值
    net.ipv4.tcp_max_orphans = 3276800
     
    ######################## cat /proc/sys/net/ipv4/tcp_max_syn_backlog
    # 默认值：128
    # 作用：增大SYN队列的长度，容纳更多连接
    net.ipv4.tcp_max_syn_backlog = 819200
     
    ######################## cat /proc/sys/net/ipv4/tcp_keepalive_intvl 
    # 默认值：75
    # 作用：探测失败后，间隔几秒后重新探测
    net.ipv4.tcp_keepalive_intvl = 30
     
    ######################## cat /proc/sys/net/ipv4/tcp_keepalive_probes 
    # 默认值：9
    # 作用：探测失败后，最多尝试探测几次
    net.ipv4.tcp_keepalive_probes = 3
     
    ######################## cat /proc/sys/net/ipv4/tcp_keepalive_time 
    # 默认值：7200
    # 作用：间隔多久发送1次keepalive探测包
    net.ipv4.tcp_keepalive_time = 1200
     
    ######################## cat /proc/sys/net/netfilter/nf_conntrack_tcp_timeout_established
    # 默认值：432000
    # 作用：设置 conntrack tcp 状态的超时时间，如果系统出现下述异常时要考虑调整：
    # ping: sendmsg: Operation not permitted
    # kernel: nf_conntrack: table full, dropping packet.
    # 参考：http://www.linuxidc.com/Linux/2012-11/75151.htm, http://blog.csdn.net/dog250/article/details/9318843
    net.netfilter.nf_conntrack_tcp_timeout_established = 600
     
    ######################## cat /proc/sys/net/netfilter/nf_conntrack_max
    # 默认值：65535
    # 作用：设置 conntrack 的上限，如果系统出现下述异常时要考虑调整：
    # ping: sendmsg: Operation not permitted
    # kernel: nf_conntrack: table full, dropping packet.
    # 参考：https://blog.yorkgu.me/2012/02/09/kernel-nf_conntrack-table-full-dropping-packet/, http://www.cnblogs.com/mydomain/archive/2013/05/19/3087153.html
    net.netfilter.nf_conntrack_max = 655350
     
     
    ##########################################################################################
    ######################## cat /proc/sys/net/core/netdev_max_backlog
    # 默认值：1000
    # 作用：网卡设备将请求放入队列的长度
    net.core.netdev_max_backlog = 500000
     
    ######################## cat /proc/sys/net/core/somaxconn
    # 默认值：128
    # 作用：已经成功建立连接的套接字将要进入队列的长度
    net.core.somaxconn = 65536
     
    ######################## cat /proc/sys/net/core/rmem_default
    # 默认值：212992
    # 作用：默认的TCP数据接收窗口大小（字节）
    net.core.rmem_default = 8388608
     
    ######################## cat /proc/sys/net/core/wmem_default
    # 默认值：212992
    # 作用：默认的TCP数据发送窗口大小（字节）
    net.core.wmem_default = 8388608
     
    ######################## cat /proc/sys/net/core/rmem_max
    # 默认值：212992
    # 作用：最大的TCP数据接收窗口大小（字节）
    net.core.rmem_max = 16777216
     
    ######################## cat /proc/sys/net/core/wmem_max
    # 默认值：212992
    # 作用：最大的TCP数据发送窗口大小（字节）
    net.core.wmem_max = 16777216
     
    ######################## cat /proc/sys/net/ipv4/tcp_mem
    # 默认值：94389   125854  188778
    # 作用：内存使用的下限  警戒值  上限
    net.ipv4.tcp_mem = 94500000   915000000   927000000
     
    ######################## cat /proc/sys/net/ipv4/tcp_rmem
    # 默认值：4096    87380   6291456
    # 作用：socket接收缓冲区内存使用的下限  警戒值  上限
    net.ipv4.tcp_rmem = 4096   87380   16777216
     
    ######################## cat /proc/sys/net/ipv4/tcp_wmem
    # 默认值：4096    16384   4194304
    # 作用：socket发送缓冲区内存使用的下限  警戒值  上限
    net.ipv4.tcp_wmem = 4096   16384   16777216
     
     
     
    ##########################################################################################
    ######################## cat /proc/sys/net/ipv4/tcp_thin_dupack
    # 默认值：0
    # 作用：收到dupACK时要去检查tcp stream是不是 thin ( less than 4 packets in flight) 
    net.ipv4.tcp_thin_dupack = 1
     
    ######################## cat /proc/sys/net/ipv4/tcp_thin_linear_timeouts
    # 默认值：0
    # 作用：重传超时后要去检查tcp stream是不是 thin ( less than 4 packets in flight) 
    net.ipv4.tcp_thin_linear_timeouts = 1
     
    ######################## cat /proc/sys/net/unix/max_dgram_qlen
    # 默认值：10
    # 作用：UDP队列里数据报的最大个数
    net.unix.max_dgram_qlen = 30000
     
    ##########################################################################################
    ######################## 针对lvs，关闭网卡LRO/GRO功能
    # 现在大多数网卡都具有LRO/GRO功能，即网卡收包时将同一流的小包合并成大包 （tcpdump抓包可以看到>MTU 1500bytes的数据包）交给 内核协议栈；LVS内核模块在处理>MTU的数据包时，会丢弃；
    # 因此，如果我们用LVS来传输大文件，很容易出现丢包，传输速度慢；
    # 解决方法，关闭LRO/GRO功能，命令：
    # ethtool -k eth0 查看LRO/GRO当前是否打开
    # ethtool -K eth0 lro off 关闭GRO
    # ethtool -K eth0 gro off 关闭GRO
     
     
     
    【kernel】
    ######################## cat /proc/sys/kernel/randomize_va_space
    # 默认值：2
    # 作用：内核的随机地址保护模式
    kernel.randomize_va_space = 1
     
    ######################## cat /proc/sys/kernel/panic
    # 默认值：0
    # 作用：内核panic时，1秒后自动重启
    kernel.panic = 1
     
    ######################## cat /proc/sys/kernel/core_pattern
    # 默认值：|/usr/libexec/abrt-hook-ccpp %s %c %p %u %g %t e
    # 作用：程序生成core时的文件名格式
    kernel.core_pattern = core_%e
     
    ######################## cat /proc/sys/kernel/sysrq
    # 默认值：0
    # 作用：是否启用sysrq功能
    kernel.sysrq = 0
     
     
     
    【vm】
    ######################## cat /proc/sys/vm/min_free_kbytes 
    # 默认值：8039
    # 作用：保留内存的最低值
    vm.min_free_kbytes=901120
     
    ######################## cat /proc/sys/vm/panic_on_oom 
    # 默认值：0
    # 作用：发生oom时，自动转换为panic
    vm.panic_on_oom=1
     
    ######################## cat /proc/sys/vm/min_free_kbytes 
    # 默认值：45056
    # 作用：保留最低可用内存
    vm.min_free_kbytes=1048576
     
    ######################## cat /proc/sys/vm/swappiness 
    # 默认值：60
    # 作用：数值（0-100）越高，越可能发生swap交换
    vm.swappiness=20
     
     
    【fs】
    ######################## cat /proc/sys/fs/inotify/max_user_watches
    # 默认值：8192
    # 作用：inotify的watch数量
    fs.inotify.max_user_watches=8192000
     
    ######################## cat /proc/sys/fs/aio-max-nr
    # 默认值：65536
    # 作用：aio最大值
    fs.aio-max-nr=1048576
     
    ######################## cat /proc/sys/fs/file-max
    # 默认值：98529
    # 作用：文件描述符的最大值
    fs.file-max = 1048575

ZYXW、参考  
1、Linux内核高性能优化【生产环境实例】  
[http://yangrong.blog.51cto.com/6945369/1567427][http_yangrong.blog.51cto.com_6945369_1567427]  
2、linux内核参数解释说明  
[http://yangrong.blog.51cto.com/6945369/1321594][http_yangrong.blog.51cto.com_6945369_1321594]  
3、tcp\_tw\_reuse、tcp\_tw\_recycle 使用场景及注意事项  
[http://www.cnblogs.com/lulu/p/4149312.html][http_www.cnblogs.com_lulu_p_4149312.html]

生产环境实例，话不多说，直接上线上服务器的sysctl.conf文件，当然，这是前辈大牛的功劳：

#---内核优化开始--------
    
    
    # 内核panic时，1秒后自动重启
    
    kernel.panic = 1
    
    
    
    # 允许更多的PIDs (减少滚动翻转问题); may break some programs 32768
    
    kernel.pid_max = 32768
    
    
    
    # 内核所允许的最大共享内存段的大小（bytes）
    
    kernel.shmmax = 4294967296
    
    
    
    # 在任何给定时刻，系统上可以使用的共享内存的总量（pages）
    
    kernel.shmall = 1073741824
    
    
    
    # 设定程序core时生成的文件名格式
    
    kernel.core_pattern = core_%e
    
    
    
    # 当发生oom时，自动转换为panic
    
    vm.panic_on_oom = 1
    
    
    
    # 表示强制Linux VM最低保留多少空闲内存（Kbytes）
    
    vm.min_free_kbytes = 1048576
    
    
    
    # 该值高于100，则将导致内核倾向于回收directory和inode cache
    
    vm.vfs_cache_pressure = 250
    
    
    
    # 表示系统进行交换行为的程度，数值（0-100）越高，越可能发生磁盘交换
    
    vm.swappiness = 20
    
    
    
    # 仅用10%做为系统cache
    
    vm.dirty_ratio = 10
    
    
    
    # 增加系统文件描述符限制 2^20-1
    
    fs.file-max = 1048575
    
    
    
    # 网络层优化
    
    # listen()的默认参数,挂起请求的最大数量，默认128
    
    net.core.somaxconn = 1024
    
    
    
    # 增加Linux自动调整TCP缓冲区限制
    
    net.core.wmem_default = 8388608
    
    net.core.rmem_default = 8388608
    
    net.core.rmem_max = 16777216
    
    net.core.wmem_max = 16777216
    
    
    
    # 进入包的最大设备队列.默认是300
    
    net.core.netdev_max_backlog = 2000
    
    
    
    # 开启SYN洪水攻击保护
    
    net.ipv4.tcp_syncookies = 1
    
    
    
    # 开启并记录欺骗，源路由和重定向包
    
    net.ipv4.conf.all.log_martians = 1
    
    net.ipv4.conf.default.log_martians = 1
    
    
    
    # 处理无源路由的包
    
    net.ipv4.conf.all.accept_source_route = 0
    
    net.ipv4.conf.default.accept_source_route = 0
    
    
    
    # 开启反向路径过滤
    
    net.ipv4.conf.all.rp_filter = 1
    
    net.ipv4.conf.default.rp_filter = 1
    
    
    
    # 确保无人能修改路由表
    
    net.ipv4.conf.all.accept_redirects = 0
    
    net.ipv4.conf.default.accept_redirects = 0
    
    net.ipv4.conf.all.secure_redirects = 0
    
    net.ipv4.conf.default.secure_redirects = 0
    
    
    
    # 增加系统IP端口限制
    
    net.ipv4.ip_local_port_range = 9000 65533
    
    
    
    # TTL
    
    net.ipv4.ip_default_ttl = 64
    
    
    
    # 增加TCP最大缓冲区大小
    
    net.ipv4.tcp_rmem = 4096 87380 8388608
    
    net.ipv4.tcp_wmem = 4096 32768 8388608
    
    
    
    # Tcp自动窗口
    
    net.ipv4.tcp_window_scaling = 1
    
    
    
    # 进入SYN包的最大请求队列.默认1024
    
    net.ipv4.tcp_max_syn_backlog = 8192
    
    
    
    # 打开TIME-WAIT套接字重用功能，对于存在大量连接的Web服务器非常有效。 
    
    net.ipv4.tcp_tw_recycle = 1 
    
    net.ipv4.tcp_tw_reuse = 0  
    
    
    
    # 表示是否启用以一种比超时重发更精确的方法（请参阅 RFC 1323）来启用对 RTT 的计算；为了实现更好的性能应该启用这个选项
    
    net.ipv4.tcp_timestamps = 0
    
    
    
    # 表示本机向外发起TCP SYN连接超时重传的次数
    
    net.ipv4.tcp_syn_retries = 2
    
    net.ipv4.tcp_synack_retries = 2
    
    
    
    # 减少处于FIN-WAIT-2连接状态的时间，使系统可以处理更多的连接。 
    
    net.ipv4.tcp_fin_timeout = 10  
    
    
    
    # 减少TCP KeepAlive连接侦测的时间，使系统可以处理更多的连接。 
    
    # 如果某个TCP连接在idle 300秒后,内核才发起probe.如果probe 2次(每次2秒)不成功,内核才彻底放弃,认为该连接已失效.
    
    net.ipv4.tcp_keepalive_time = 300 
    
    net.ipv4.tcp_keepalive_probes = 2
    
    net.ipv4.tcp_keepalive_intvl = 2
    
    
    
    # 系统所能处理不属于任何进程的TCP sockets最大数量
    
    net.ipv4.tcp_max_orphans = 262144
    
    
    
    # 系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。
    
    net.ipv4.tcp_max_tw_buckets = 20000 
    
    
    
    # arp_table的缓存限制优化
    
    net.ipv4.neigh.default.gc_thresh1 = 128
    
    net.ipv4.neigh.default.gc_thresh2 = 512
    
    net.ipv4.neigh.default.gc_thresh3 = 4096

linux TIME\_WAIT 相关参数:

net.ipv4.tcp_tw_reuse = 0    表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭
    net.ipv4.tcp_tw_recycle = 0  表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭
    net.ipv4.tcp_fin_timeout = 60  表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间

注意：

\- 不像Windows 可以修改注册表修改2MSL 的值，linux 需要修改内核宏定义重新编译，tcp\_fin\_timeout 不是2MSL 而是Fin-WAIT-2状态超时时间.

\- tcp\_tw\_reuse 和 SO\_REUSEADDR 是两个完全不同的东西

SO\_REUSEADDR 允许同时绑定 127.0.0.1 和 0.0.0.0 同一个端口； SO\_RESUSEPORT linux 3.7才支持，用于绑定相同ip:port，像nginx 那样 fork方式也能实现

1. tw\_reuse，tw\_recycle 必须在客户端和服务端 timestamps 开启时才管用（默认打开）

2. tw\_reuse 只对客户端起作用，开启后客户端在1s内回收

3. tw\_recycle 对客户端和服务器同时起作用，开启后在 3.5\*RTO 内回收，RTO 200ms~ 120s 具体时间视网络状况。

内网状况比tw\_reuse 稍快，公网尤其移动网络大多要比tw\_reuse 慢，优点就是能够回收服务端的TIME\_WAIT数量

## 对于客户端 ##

1. 作为客户端因为有端口65535问题，TIME\_OUT过多直接影响处理能力，打开tw\_reuse 即可解决，不建议同时打开tw\_recycle，帮助不大；

2. tw\_reuse 帮助客户端1s完成连接回收，基本可实现单机6w/s短连接请求，需要再高就增加IP数量；

3. 如果内网压测场景，且客户端不需要接收连接，同时 tw\_recycle 会有一点点好处；

4. 业务上也可以设计由服务端主动关闭连接。

## 对于服务端 ##

1. 打开tw\_reuse无效

2. 线上环境 tw\_recycle 不建议打开

服务器处于NAT 负载后，或者客户端处于NAT后（基本公司家庭网络基本都走NAT）；

公网服务打开就可能造成部分连接失败，内网的话到时可以视情况打开；

像我所在公司对外服务都放在负载后面，负载会把 timestamp 都给清空，就算你打开也不起作用。

3. 服务器TIME\_WAIT 高怎么办

不像客户端有端口限制，处理大量TIME\_WAIT Linux已经优化很好了，每个处于TIME\_WAIT 状态下连接内存消耗很少，

而且也能通过tcp\_max\_tw\_buckets = *262144* 配置最大上限，现代机器一般也不缺这点内存。

下面像我们一台每秒峰值1w请求的 http 短连接服务，长期处于tw\_buckets 溢出状态，

tw\_socket\_TCP 占用70M, 因为业务简单服务占用CPU 200% 运行很稳定。

slabtop

262230 251461  95%    0.25K  17482       15     69928K tw\_sock\_TCP

ss -s
    Total: 259 (kernel 494)
    TCP:   262419 (estab 113, closed 262143, orphaned 156, synrecv 0, timewait 262143/0), ports 80
    
    Transport Total     IP        IPv6
    *         494       -         -        
    RAW       1         1         0        
    UDP       0         0         0        
    TCP       276       276       0        
    INET      277       277       0        
    FRAG      0         0         0

唯一不爽的就是：

系统日志中overflow 错误一直再刷屏，也许该buckets 调大一下了

TCP: time wait bucket table overflow  
TCP: time wait bucket table overflow  
TCP: time wait bucket table overflow  
TCP: time wait bucket table overflow  
TCP: time wait bucket table overflow

5. 业务上也可以设计由客户端主动关闭连接

## 原理分析 ##

1. MSL 由来

发起连接关闭方回复最后一个fin 的ack，为避免对方ack 收不到、重发的或还在中间路由上的fin 把新连接给丢掉了，等个2MSL（linux 默认2min）。

也就是连接有谁关闭的那一方有time\_wait问题，被关那方无此问题。

2. reuse、recycle

通过timestamp的递增性来区分是否新连接，新连接的timestamp更大，那么保证小的timestamp的 fin 不会fin掉新连接，不用等2MSL。

3. reuse

通过timestamp 递增性，客户端、服务器能够处理outofbind fin包

4. recycle

对于服务端，同一个src ip，可能会是NAT后很多机器，这些机器timestamp递增性无可保证，服务器会拒绝非递增请求连接。

参考：

# [Coping with the TCP TIME-WAITstate on busy Linux servers ][Coping with the TCP TIME-WAITstate on busy Linux servers] #

[tcp短连接TIME\_WAIT问题解决方法大全（3）——tcp\_tw\_recycle][tcp_TIME_WAIT_3_tcp_tw_recycle]

[tcp短连接TIME\_WAIT问题解决方法大全（4）——tcp\_tw\_reuse][tcp_TIME_WAIT_4_tcp_tw_reuse]

[【经验总结】tcp\_tw\_recycle参数引发的故障][tcp_tw_recycle]

[tcp\_tw\_recycle和tcp\_timestamps导致connect失败问题][tcp_tw_recycle_tcp_timestamps_connect]

欢迎关注技术公众号：架构师成长营

![20190907193928929.jpeg][]

[http_yangrong.blog.51cto.com_6945369_1567427]: http://yangrong.blog.51cto.com/6945369/1567427
[http_yangrong.blog.51cto.com_6945369_1321594]: http://yangrong.blog.51cto.com/6945369/1321594
[http_www.cnblogs.com_lulu_p_4149312.html]: http://www.cnblogs.com/lulu/p/4149312.html
[Coping with the TCP TIME-WAITstate on busy Linux servers]: http://vincent.bernat.im/en/blog/2014-tcp-time-wait-state-linux.html
[tcp_TIME_WAIT_3_tcp_tw_recycle]: http://blog.csdn.net/yunhua_lee/article/details/8146845
[tcp_TIME_WAIT_4_tcp_tw_reuse]: http://blog.csdn.net/yunhua_lee/article/details/8146856
[tcp_tw_recycle]: http://blog.csdn.net/wireless_tech/article/details/6405755
[tcp_tw_recycle_tcp_timestamps_connect]: http://blog.sina.com.cn/s/blog_781b0c850100znjd.html
[20190907193928929.jpeg]: https://img-blog.csdnimg.cn/20190907193928929.jpeg