【Redis】K8S内Redis集群高可用之Pod反亲和告警规则整理

小咪咪 2023-10-01 09:27 8阅读 0赞

#### 文章目录 ####

*  背景
 *  Master与Slave反亲和
 *  Master间反亲和
 *  效果图

## 背景 ##

首先说一下亲和性和反亲和性：

*  亲和性可以实现就近部署，增强网络能力实现通信上的就近路由，减少网络的损耗
 *  反亲和性主要是出于高可靠性考虑，尽量分散实例，某个节点故障的时候，对应用的影响只是N分之一或者只是一个实例

由于Redis集群的分片机制以及failover机制，需要保证在部署时，保证节点尽量分散，即满足反亲和，这样才能保证当k8s集群中有节点故障时，不至于导致redis集群不可用。所以，做节点的反亲和是非常必要的，我们使用的k8s集群配置的规则并不能保证强制反亲和，所以需要通过Prometheus和alertmanager，在发现节点未满足反亲和条件时，发送告警，人为干预，告警整理如下：

*  同一集群，不同master分配在相同node上，告警，即master间反亲和
 *  同一组master/slave，位于相同node上，告警，即master与slave反亲和

## Master与Slave反亲和 ##

同一组的节点是通过同一个StatefulSet创建的，所以根据StatefulSet和k8s节点的信息count，如果结果大于1，则不满足反亲和性，告警。 这一个比较好做，通过Prometheus，找到一个指标，正好可以拿到所需要的指标：

![1430d23c2237d14bfb6273367aa3e338.png][]

其中**created\_by\_name**这个指标就是创建同一组redis节点的StatefulSet名称，**node**这个指标就是k8s节点的IP，所以这条规则的表达式如下：

(count by(created_by_name,node) (kube_pod_info{namespace="redis"}))>1

在Prometheus的rule中添加告警规则：

- alert: pod of the same master-slave group was deployed in same node
      annotations:
        description: 当集群中同一组Master/Slave部署到相同的Node上，触发该告警
        summary: '{
        {$labels.created_by_name}} 的主从节点部署到了相同的主机，主机IP为：{
        {$labels.node}}'
      expr: (count by(created_by_name,node) (kube_pod_info{
        namespace="redis"}))>1
      labels:
        group: xadd-redis
        severity: critical

## Master间反亲和 ##

要做这个告警，我们需要拿到的信息有：集群名、集群内所有master角色的节点信息、k8s集群信息，通过查找，发现有两个指标，可以拿到这些信息，第一个就是上面的**kube\_pod\_info**，还有一个是下面的**redis\_instance\_info** ：

![966bd9ac9f3d942ae78de56c0bc1a3fb.png][]

现在需要把这两个结果关联起来，通过什么关联呢？对比两个label发现，两个label的结果中都有pod这个指标，只不过名称不一样，kube\_pod\_info中是pod，而redis\_instance\_info中是kubernetes\_pod\_name，所以第一步是讲两个指标名称统一，才能做后面的关联。

label_replace(redis_instance_info, "pod", "$1", "kubernetes_pod_name", "(.*)")

![611aa8806ccfac67feaf1db9de97a50c.png][]

这样一来，两个label就可以通过pod来关联了

kube_pod_info{namespace="redis"} * on (pod) group_left(redis_kun_name) label_replace(redis_instance_info{role="master"}, "pod", "$1", "kubernetes_pod_name", "(.*)")

通过这个PromQL，可以拿到所有redis集群中角色为master的pod信息

![7a748bbf04a9716f14340e86571b7ed3.png][]

redis\_kun\_name就是集群名称，node为当前pod所在的k8s主机IP，所以通过这两个字段count，如果大于1，则不满足反亲和性：

count by (redis_kun_name, node) (kube_pod_info{namespace="redis"} * on (pod) group_left(redis_kun_name) label_replace(redis_instance_info{role="master"}, "pod", "$1", "kubernetes_pod_name", "(.*)"))

在Prometheus的rule中添加告警规则：

- alert: more than one master of the same cluster was deployed in same node
      annotations:
        description: 当集群中多个Master部署到相同的Node上，触发该告警
        summary: '发现集群：{
        {$labels.redis_kun_name}} 有{
        {value}}个Master部署到了相同的主机，主机IP为：{
        {$labels.node}}'
      expr: count by (redis_kun_name, node) (kube_pod_info{
        namespace="redis"} * on (pod) group_left(redis_kun_name) label_replace(redis_instance_info{
        role="master"}, "pod", "$1", "kubernetes_pod_name", "(.*)"))>1
      labels:
        group: xadd-redis
        severity: critical

## 效果图 ##

![2cc642b78bf035657e65a93667b2cc0c.png][]  
大功告成！

[1430d23c2237d14bfb6273367aa3e338.png]: https://img-blog.csdnimg.cn/img_convert/1430d23c2237d14bfb6273367aa3e338.png
[966bd9ac9f3d942ae78de56c0bc1a3fb.png]: https://img-blog.csdnimg.cn/img_convert/966bd9ac9f3d942ae78de56c0bc1a3fb.png
[611aa8806ccfac67feaf1db9de97a50c.png]: https://img-blog.csdnimg.cn/img_convert/611aa8806ccfac67feaf1db9de97a50c.png
[7a748bbf04a9716f14340e86571b7ed3.png]: https://img-blog.csdnimg.cn/img_convert/7a748bbf04a9716f14340e86571b7ed3.png
[2cc642b78bf035657e65a93667b2cc0c.png]: https://img-blog.csdnimg.cn/img_convert/2cc642b78bf035657e65a93667b2cc0c.png