一次大量TIME_WAIT和Recv-Q 堵塞问题排查思路

分手后的思念是犯贱 2023-02-20 15:53 12阅读 0赞

# 第一天故障： #

**现象:**

公司销售群和售后群炸了，说老后台(1.0版本)崩溃了，因为还有部门的业务没来得及迁移到新后台，我当时正在打农药哈哈~

后台504打不开，偶尔能刷出来也是很慢。。大概过了10分钟新后台也挂了，也就是公司所有业务全瘫痪了。。。问题严重了。。。

**排查及原因:**

**先登陆到我们比较重视的新后台查看，有慢日志看慢日志没有慢日志先加慢日志。**

简单查看了一下top  发现load较高，有时候能到20左右，忽高忽低不是很稳定，其他都还算正常。。

接着netstat大法查看下连接数情况，统计了一下大概8000多time\_wait，平常肯定没这么多的量。

![format_png][]

次数省略几千行...

1.  `strace -p http的pid`
2.   
3.  `strace -p php的pid`
4.   
5.  `#通过strace工具追踪了一下web服务和php的进程id，查看他正在做什么？`

通过跟踪发现有很多调用一个数据库的函数在堆积，找到相应文件下发现原来这里有一个数据库已经下线了，在切换数据库的时候没有更改这个地方，白天切换的时候没发现问题，到了晚上高峰期大量的调用在排队，(今天早上来了问了一下研发，这个调用超时时间是5秒) 导致了大量的TIME\_WAIT等待。。堵死。。

**处理：**

将数据库更改为正常的IP解决了~

# 第二天老后台问题： #

晚上9点左右同样的情况。直接查看连接数情况，果然又堵车了。

![format_png 1][]

又堵塞了，大量的连接数不释放，目前业务已经崩了大量的投诉，先快速释放连接数恢复业务。

1.  `[root@vm-10 ]# cat /etc/sysctl.conf`
2.  `kernel.sysrq = 1`
3.  `kernel.core_uses_pid = 1`
4.  `kernel.msgmnb = 65536`
5.  `kernel.msgmax = 65536`
6.  `kernel.shmmax = 68719476736`
7.  `kernel.shmall = 4294967296`
8.  `net.ipv4.ip_forward = 0`
9.  `net.ipv4.conf.default.accept_source_route = 0`
10. `net.ipv4.tcp_syncookies = 1`
11. `net.ipv4.conf.default.rp_filter = 2`
12. `net.ipv4.conf.all.rp_filter = 2`
13. `net.ipv4.conf.all.arp_announce = 2`
14.  
15. `net.ipv4.tcp_tw_reuse = 1 #新增`
16. `net.ipv4.tcp_tw_recycle = 1 #新增`
17. `net.ipv4.tcp_fin_timeout = 30 #新增`
18. `[root@vm-10 ]#`

net.ipv4.tcp\_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；  
net.ipv4.tcp\_tw\_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；  
net.ipv4.tcp\_tw\_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。

果然调整完后连接数快速降下来了，然后strace查了一下系统调用，发现还有一个数据库没更改

1.  `lstat("/aaa/www/html/hangye.aaa.com/bbb_OPEN_VIDEO/index.php", {st_mode=S_IFREG|0644, st_size=14994, ...}) = 0`
2.  `stat("/aaa/www/html/hangye.aaa.com/s", 0x7ffd5f5e22b0) = -1 ENOENT (No such file or directory)`
3.  `lstat("/aaa", {st_mode=S_IFDIR|0755, st_size=103, ...}) = 0`
4.  `lstat("/aaa/www", {st_mode=S_IFDIR|0755, st_size=38, ...}) = 0`
5.  `lstat("/aaa/www/html", {st_mode=S_IFDIR|0755, st_size=107, ...}) = 0`
6.  `lstat("/aaa/www/html/hangye.aaa.com", {st_mode=S_IFDIR|0755, st_size=4096, ...}) = 0`
7.  `lstat("/aaa/www/html/hangye.aaa.com/s", 0x7ffd5f5e22b0) = -1 ENOENT (No such file or directory)`
8.  `setitimer(ITIMER_PROF, {it_interval={0, 0}, it_value={60, 0}}, NULL) = 0`
9.  `rt_sigaction(SIGPROF, {0x7f5710190cc0, [PROF], SA_RESTORER|SA_RESTART, 0x7f5719175660}, {0x7f5710190cc0, [PROF], SA_RESTORER|SA_RESTART, 0x7f5719175660}, 8) = 0`
10. `rt_sigprocmask(SIG_UNBLOCK, [PROF], NULL, 8) = 0`
11. `getcwd("/", 4095) = 2`
12. `chdir("/aaa/www/html/hangye.aaa.com/bbb_OPEN_VIDEO") = 0`
13. `setitimer(ITIMER_PROF, {it_interval={0, 0}, it_value={30, 0}}, NULL) = 0`
14. `gettimeofday({1502634914, 509085}, NULL) = 0`
15. `open("/aaa/www/html/hangye.aaa.com/bbb_OPEN_VIDEO/index.php", O_RDONLY) = 31`

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE3LmNuYmxvZ3MuY29tL2Jsb2cvNTQ5MjgwLzIwMTcwOC81NDkyODAtMjAxNzA4MTQxNjAwMTM2NjItMTQxNDEwNTAxOS5wbmc?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9pbWFnZXMyMDE3LmNuYmxvZ3MuY29tL2Jsb2cvNTQ5MjgwLzIwMTcwOC81NDkyODAtMjAxNzA4MTQxNDM0MzAxMTUtMTUxNzM2NDYzMy5wbmc?x-oss-process=image/format,png