Redis集群监控方法

我会带着你远行 2022-05-10 17:12 284阅读 0赞

# **   1. 技术领域** #

提供一种Redis集群中各Redis节点的监控处理方法，能够采集Redis节点的资源信息、性能指标数据，集群内多个Redis节点服务运行状态监控。实现告警监控信息、资源和性能指标的采集与分析的监控方法。

# **   2. 背景技术** #

##     2.1 **Redis****简介** ##

Redis 是一种开源的内存中key-value数据结构存储系统，它可以用作数据库、缓存和消息中间件。它支持多种类型的数据结构，如字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets），有序集合（sorted sets）与范围查询。Redis也可以被看成是一个数据结构服务器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上。

Redis可使用一个或多个Redis哨兵（Sentinel），和Redis的主节点（Master）、 多个从节点（Slave）组成一个集群。Sentinel来检测Redis的Master节点是否运行正常，并在Master节点发生故障时，将 Master的Slave提升为Master，并在老的Master重新加入到Sentinel的群集之后，会被重新配置，作为新Master的Slave。基于Redis的 Sentinel可实现集群的高可用管理功能。

##    2.2 **Redis****监控方法** ##

Redis 监控最直接的方法就是在装有Redis的服务器上使用Redis服务提供的 INFO 命令，只需要执行下面一条命令：

./redis-cli -p *端口号*info

会返回一个Redis节点的Server、Clients、Memory、Persistence、Stats、Replication、CPU、Keyspace 8个部分的结果信息。从INFO返回结果中得到相关信息，就可以达到监控一个Redis节点的目的。

如下结果返回的是一个Redis的Master节点的信息：

\# Server

redis\_version:2.8.8                      \# Redis 的版本

redis\_git\_sha1:00000000

redis\_git\_dirty:0

redis\_build\_id:bf5d1747be5380f

redis\_mode:standalone

os:Linux 2.6.32-220.7.1.el6.x86\_64 x86\_64

arch\_bits:64

gcc\_version:4.4.7                        \#gcc版本

process\_id:49324                        \# 当前 Redis 服务器进程id

run\_id:bbd7b17efcf108fdde285d8987e50392f6a38f48

tcp\_port:6379

uptime\_in\_seconds:1739082               \# 运行时间(秒)

uptime\_in\_days:20                       \# 运行时间(天)

\# Clients

connected\_clients:1                      \#连接的客户端数量

client\_longest\_output\_list:0

client\_biggest\_input\_buf:0

blocked\_clients:0

\# Memory

used\_memory:821848                    \#Redis分配的内存总量

used\_memory\_human:802.59K

used\_memory\_rss:85532672               \#Redis分配的内存总量(包括内存碎片)

used\_memory\_peak:178987632

used\_memory\_peak\_human:170.70M       \#Redis所用内存的高峰值

used\_memory\_lua:33792

mem\_fragmentation\_ratio:104.07           \#内存碎片比率

mem\_allocator:tcmalloc-2.0

\# Persistence

loading:0

rdb\_changes\_since\_last\_save:0           \#上次保存数据库之后，执行命令的次数

rdb\_bgsave\_in\_progress:0               \#后台进行中的 save 操作的数量

rdb\_last\_save\_time:1410848500   \#最后一次成功保存时间点

rdb\_last\_bgsave\_status:ok

rdb\_last\_bgsave\_time\_sec:0

rdb\_current\_bgsave\_time\_sec:-1

aof\_last\_bgrewrite\_status:ok

aof\_last\_write\_status:ok

\# Stats

total\_connections\_received:5705            \#运行以来连接过的客户端的总数量

total\_commands\_processed:204013          \#运行以来执行过的命令的总数量

instantaneous\_ops\_per\_sec:0

rejected\_connections:0

expired\_keys:34401                       \#运行以来过期的 key 的数量

evicted\_keys:0                           \#运行以来删除过的key的数量

keyspace\_hits:2129                       \#命中key 的次数

keyspace\_misses:3148                     \#没命中key 的次数

\# Replication

role:master                              \#当前实例的角色master还是slave

connected\_slaves:0

master\_repl\_offset:0

\# CPU

used\_cpu\_sys:1551.61

used\_cpu\_user:1083.37

used\_cpu\_sys\_children:2.52

used\_cpu\_user\_children:16.79

\# Keyspace

db0:keys=3,expires=0,avg\_ttl=0    \#各个数据库key 的数量，以及带有生存期的 key 的数量

以上字符串就是这个Redis节点带有固定格式的一些字段属性和值。

同样通过INFO命令，对一个Sentinel节点返回的信息如下：

\# Sentinel

sentinel\_masters:3

sentinel\_tilt:0

sentinel\_running\_scripts:0

sentinel\_scripts\_queue\_length:0

master0:name=common, status=ok,address=192.168.95.111:56379,slaves=1,sentinels=3

master1:name=resource1,status=ok,address=192.168.95.112:56379,slaves=1,sentinels=3

master2:name=resource2,status=ok,address=192.168.95.113:56379,slaves=1,sentinels=3

由返回信息可得知这个Sentinel目前管理了3个Master，并分别给出了Master的IP和端口，每个Master各有一个Slave。

# **3.技术方案描述** #

## 3.1 **要解决的技术问题** ##

通过在Redis服务器上执行INFO命令可以得到当前Redis节点的结果信息，但需要手工执行命令，结果信息可读性不强，不直观，不能达到自动监控的目的。 理想监控方案是在公司目前的监控产品中，集成Redis的集群监控方案，能够周期性、不间断的自动采集Redis各节点的数据信息，实时上报Redis节点的监控指标和状态，和Redis集群的服务状态信息。

## 3.2 **整体思路** ##

Redis的Sentinel作为Redis的高可用方案，可以实现Redis的Mater和Slave之间高可用和故障自动切换。以公司某监控产品环境中的用到的Redis为例，为公共数据部署一组Redis，包括一个Master和一个Slave。为资源数据部署两组Redis，每组内同样包括一个Master和一个Slave。这样通过6个Redis（Master/Slave）节点形成一个Redis集群服务方案。

![70][]

为了方便说明Redis集群，本次在三台服务器进行Redis集群的安装，其中每台服务器上各部署一个Master和Slave，考虑到防止设备宕机导致的高可用问题，不同服务器的Master和Slave形成Master/Slave关系。另外每台服务器上要各部署一个Sentinel，做为Redis的管理节点，实时监测Master和Slave的主备状态与切换， 如果Master所在的服务器宕机，Slave也能继续接替Master工作。

实际部署形成的Redis主备节点集群方案如下， Slave节点通过蓝色箭头指向Master节点做表示：

![70 1][]

##  3.3 **实现方案** ##

### ** 3.3.1 采****用****Java直接连接Redis节点取INFO信息** ###

采用Java开发，在开发工程中引用开发包jedis-2.7.2.jar，进行代码开发。连接一个Redis节点的关键代码如下，例如连接一个IP是192.168.180.61，端口是56380的Redis节点：

Jedis jedis = new Jedis (“192.168.180.61”, 56380);

String info = jedis.info ();

如果这个IP和端口的Redis节点正常，则返回的info字符串，就可得到这个节点的所有信息，与在Redis服务器上通过INFO命令取节点信息是同样效果。

### **    3.3.2采集****Redis****节点方法** ###

通过Sentinel节点采集，可采集Sentinel管理的Master节点信息。在确定了一个Sentinel节点的IP和端口的情况下，先采这个Sentinel节点的信息，可得到这个Sentinel管理的Master节点的IP和端口，有了多个Master节点的IP和端口，可再针对这些IP和端口进行采集。

例如采一个Sentinel节点，得到目前这个Sentinel管理的3个Master的IP和端口，再依次采用这3个Master的IP和端口的Redis信息，得到该Master的Slave节点信息。

如下图例展示了通过一个Sentinel可采到所有节点的过程：

![70 2][]

这样至少通过一个Sentinel节点的IP和端口，就能把这个集群服务中的所有Master和Slave节点信息采集到，包括这个Sentinel节点本身。其它的Sentinel节点再分别通过IP和端口采集。

如下图展示是的当前这个名为Redis180的服务， 各个Redis节点的一个展示页面效果。

![70 3][]

### **     3.3.3从****INFO****字符串提取关键配置信息和性能指标** ###

通过取一个Redis节点的INFO字符串信息中，是格式固定的字符串，通过提取关键指标值，将指标值进行分析处理，可做为Redis节点的资源配置信息或性能指标值。例如内存部分的字段信息：

used\_memory: 4809536                \#Redis使用的内存

used\_memory\_peak: 6589592    \#Redis所用内存的高峰值

这两个指标给出的是当前这个Redis节点使用的内存量与高峰值的字节数。通过一个Redis节点的IP与端口，做为资源的唯一标识，把这两个指标数据归属到这个Redis资源上。数据在入库后，可通过界面查看这两个指标的展示情况：

![70 4][]

### **3.3.4一****个服务中****通****过Sen****tinel****判****断****服务状态** ###

部署了多个Redis节点，包括多个Master，Slave，Sentinel节点成一个集群，通过Sentinel来管理各节点的运行状态。 Sentinel能够监控所管理的Master或Slave节点的运行状态和角色，所以可以通过Sentinel来判断一个Redis集群服务的运行状态。

判断一个集群服务方法：如果服务中所有的Sentinel节点无法取回INFO信息，则认为这个服务状态是异常的，并上报Redis服务不可用告警。

实现方法：

1.  周期检查一个Redis服务中的所有Sentinel的IP和端口， 如果服务中的每个Sentinel的IP和端口都不能返回INFO信息，则认为这个服务异常不可用，并上传Redis服务状态异常不可用的告警。

2.  如果是单个Sentinel节点不能返回INFO信息，则上传这个Sentinel节点状态异常告警。

3.  当检查到所有Sentinel节点的IP和端口都可采，都能返回INFO信息，是认为Redis服务已正常，上传Redis服务恢复正常的恢复告警。

![70 5][]

# 4.**本方案相对于现有方案的有益效果或者优点** #

实现了一种可视化的实时监控Redis集群中节点信息和服务运行状态的监控方法。

通过一个Sentinel节点就能一次性采集发现这个Sentinel管理的所有Redis节点信息。

为一组部署了Sentinel节点的Redis集群确定了一种通过多个Sentinel判断集群服务是否正常的方法。

[70]: /images/20220505/6074972fd5a54bf38721e30990643d85.png
[70 1]: /images/20220505/8786c732f50040c48bdaa6b3ec549176.png
[70 2]: /images/20220505/f20a003721d746669b31df92415fb75e.png
[70 3]: /images/20220505/91f0ca2ce0604e328bf70ced76e30a6e.png
[70 4]: /images/20220505/b90e23ea00b9488f9e92bd1969536cdf.png
[70 5]: /images/20220505/c901f95e110349abbe5fcd27cf9d11aa.png