QPS过万，Redis大量连接超时怎么解决？

小咪咪 2022-11-17 13:54 140阅读 0赞

之前负责的一个服务总是在高峰时刻和压测发生大量的redis连接超时的异常`redis.clients.jedis.exceptions.JedisConnectionException`，根据原有的业务规则，首先会从数据库查询，然后缓存到redis中，超时时间设置为3分钟。

并且由于业务的特性，本身未做降级、限流等处理措施，而在巅峰的QPS基本上快达到20000的样子，虽然这个现象只是单纯的一个异常，并不会导致整个主链路的流程不可用，但是我们还是要找出问题的原因并且解决。

首先我们找到负责Redis同学排查，他们告诉我Redis现在很稳定，没有问题，以前现在未来都不会出问题，出了问题肯定是你们自己的问题。

... ...

说的好有道理，我竟无力反驳，真是让人两个头一个大。

这样的话，我们就只能去找找自身的原因了。

# 排查思路 #

### 查看异常分布 ###

首先根据经验，我们看看自己的服务器的情况，看下异常到底出现在哪些机器，通过监控切换到单机维度，看看异常是否均匀分布，如果分布不均匀，只是少量的host特别高，基本可以定位到出现问题的机器。

诶，这就很舒服了，这一下子就找到了问题，只有几台机器异常非常高。

*不过不能这样，我们继续说排查思路......*

### Redis情况 ###

再次按照经验，虽然负责redis的同学说redis贼稳定巴拉巴拉，但是我们本着怀疑的态度，不能太相信他们说的话，这点很重要，特别是工作中，同学们，不要别人说啥你就信啥，要本着柯南的精神，发生命案的时候每个人都是犯罪嫌疑人，当然你要排除自己，坚定不移的相信这肯定不是我的锅！

好了，我们看看redis集群是否有节点负载过高，比如以常规经验看来的80%可以作为一个临界值。

如果有一个或少量节点超过，则说明可能存在**热key**问题，如果大部分节点都超过，则说明存在**redis整体压力大**问题。

另外可以看看是否有慢请求的情况，如果有慢请求，并且时间发生问题的时间匹配，那么可能是存在**大key**的问题。

嗯... ...

redis同学说的没错，redis稳如老狗。

### CPU ###

我们假设自己还是很无助，还是没发现问题在哪儿，别急，接着找找别人的原因，看看CPU咋样，可能运维偷偷滴给我们把机器配置给整差了。

我们看看CPU使用率多高，是不是超过80%了，还是根据经验，我们之前的服务一般高峰能达到60%就不错了。

再看看CPU是不是存在限流，或者存在密集的限流、长时间的限流。

如果存在这些现象，应该就是运维的锅，给我们**机器资源不够啊**。

### GC停顿 ###

得嘞，运维这次没作死。

再看看GC咋样。

频繁的GC、GC耗时过长都会让线程无法及时读取redis响应。

这个数字怎么判断呢？

通常，我们可以这样计算，再次按照我们一塌糊涂的经验，**每分钟GC总时长/60s/每分钟GC个数**，如果达到ms级了，对redis读写延迟的影响就会很明显。

为了稳一手，我们也要对比下和历史监控级别是否差不多一致。

好了，打扰了，我们继续。

### 网络 ###

网络这块我们主要看**TCP重传率**，这个基本在大点的公司都有这块监控。

> TCP重传率=单位时间内TCP重传包数量/TCP发包总数

我们可以把TCP重传率视为网络质量和服务器稳定性的一个只要衡量指标。

还是根据我们的经验，这个TCP重传率越低越好，越低代表我们的网络越好，如果TCP重传率保持在0.02%（以自己的实际情况为准）以上，或者突增，就可以怀疑是不是**网络问题**了。

![5f17d5173ad70f10067ec71c5d24236b.png][]

比如这张图一样，要是和心电图一样，基本上网络问题就没跑了。

### 容器宿主机 ###

有一些机器有可能是虚拟机，CPU的监控指标可能不准确，特别是对于IO密集型的情况会有较大差异。可以通用其他手段来查询宿主机的情况。

# 最后 #

根据一系列的骚操作，我们根据定位到的机器然后排查了一堆情况，最终定位到是**网络问题**，有单独的几台机器在高峰时期TCP重传率贼高，最后根据运维提供的解决方案：【重启有问题的机器】，我们很顺利的就解决了这个问题。

[5f17d5173ad70f10067ec71c5d24236b.png]: /images/20221022/4b962095480f44e39aaae72df813f814.png

发表评论取消回复

表情：

评论列表（有 0 条评论，140人围观）

还没有评论，来说两句吧...

相关阅读

相关 redis排查读取超时、连接超时

最近公司现网查询速度极慢，原因是因为有一个调度频繁查询产品详情，经理安排进行优化笔者第一时间想到的是使用缓存，但因为生产环境产品信息量将近上千条热点数据，为防止撑爆服务器

红太狼/ 2022年12月28日 12:36/ 0 赞/ 233 阅读

相关 ElasticSearch reindex超时怎么解决

> 发现千万级数据定义的字段类型不对,然后需要新建索引,将旧的数据导到新的索引上,往往会出现超时现象 {"statusCode":502,"error":"Bad G

左手的ㄟ右手/ 2022年11月29日 12:26/ 0 赞/ 219 阅读

相关 QPS过万，Redis大量连接超时怎么解决？

之前负责的一个服务总是在高峰时刻和压测发生大量的redis连接超时的异常`redis.clients.jedis.exceptions.JedisConnectionExcep

小咪咪/ 2022年11月17日 13:54/ 0 赞/ 141 阅读

相关提高单机短连接QPS到20万

提高单机短连接QPS到20万转载于http://weibo.com/ttarticle/p/show?id=2309404037884855362229。

叁歲伎倆/ 2022年07月15日 06:21/ 0 赞/ 143 阅读

相关 Mysql连接数过大导致连接超时的问题

春节访问量激增，负载压力很大，程序处理较慢，然后就调整项目中的线程池和数据库连接数。可是还是没有太好的提高，追根溯源，发现数据库连接受到限制。虽然是做了读写分离，但是还是没抗住

Dear 丶/ 2022年07月11日 13:12/ 0 赞/ 410 阅读

相关如何解决 Socket 连接超时

最近两天项目其中一台IM服务器的IM验证出现问题，进行用户IM注册时出现连接超时问题；重启服务后，可以进行用户的IM注册验证，没有出现超时问题；但是等到半个钟一个钟(时间

短命女/ 2022年06月06日 14:45/ 0 赞/ 591 阅读

相关用redis-cli连接redis服务超时问题

虚拟机环境，安装了redis，安装成功，服务也正常启动，但是在用redis-cli连接时发现无法连接，超时。很奇怪，经过网上搜索之后，试了一下：需要执行以下redis的配置

心已赠人/ 2022年06月05日 08:50/ 0 赞/ 269 阅读

相关 redis连接超时问题解决办法

redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketTimeoutExceptio

妖狐艹你老母/ 2022年05月29日 11:07/ 0 赞/ 574 阅读

相关 Mysql连接数过大导致连接超时的问题

Mysql连接数过大导致连接超时的问题，春节访问量激增，负载压力很大，程序处理较慢，然后就调整项目中的线程池和[数据库][Link 1]连接数。可是还是没有太好的提高，追根溯源

￡神魔★判官ぃ/ 2022年05月13日 06:24/ 0 赞/ 311 阅读

相关 python3 redis 设置连接超时

在Python中连接Redis 常规操作 import redis rs = redis.Redis(host='127.0.0.1', port=6379

痛定思痛。/ 2021年08月24日 21:01/ 0 赞/ 1209 阅读