安装kafka集群监控以及监控指标项整理

快来打我* 2023-01-22 06:52 19阅读 0赞

> 安装kafka集群监控

集团的kafka集群，是保障集团消息的生产和消费的情况，需要我们运维人员进行实时监控，目前这套**生产可用**。

##### 安装步骤 #####

[root@gtcq-gt-resource2-db-01 opt]# cd /opt/ ;scp root@10.152.17.11:/opt/kafka* /opt
    root@10.152.17.11's password: 
    kafka_exporter-1.2.0.linux-amd64.tar.gz                                                                                    100% 4129KB  84.1MB/s   00:00    
    [root@gtcq-gt-resource2-db-01 opt]# tar -zxvf kafka_exporter-1.2.0.linux-amd64.tar.gz -C /usr/local/
    [root@gtcq-gt-resource2-db-01 local]# cd kafka_exporter-1.2.0.linux-amd64/
    [root@gtcq-gt-resource2-db-01 kafka_exporter-1.2.0.linux-amd64]# ./kafka_exporter --kafka.server=10.152.17.50:9092 &
    [13] 46697
    [root@gtcq-gt-resource2-db-01 kafka_exporter-1.2.0.linux-amd64]# INFO[0000] Starting kafka_exporter (version=1.2.0, branch=HEAD, revision=830660212e6c109e69dcb1cb58f5159fe3b38903) source="kafka_exporter.go:474"
    INFO[0000] Build context (go=go1.10.3, user=root@981cde178ac4, date=20180707-14:34:48)  source="kafka_exporter.go:475"
    INFO[0000] Done Init Clients                             source="kafka_exporter.go:213"
    INFO[0000] Listening on :9308                            source="kafka_exporter.go:499"
    
    [root@gtcq-gt-resource2-db-01 kafka_exporter-1.2.0.linux-amd64]#

对应的服务端口为9308

##### 修改Prometheus配置文件 #####

##kafka监控 
      - job_name: 'job-gtcq-gt-kafka'
        static_configs:
        - targets: ['10.152.17.50:9308']
          labels:
            service: gtcq-gt-kafka-service

##### 展示 #####

![caf648fce46d1831f5ca769688d2bcff.png][]  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTU1OTUx_size_16_color_FFFFFF_t_70][]

> kafka监控指标

##### 1、kafka监控agent存活 #####

PromQL语句：

up{job="job-gtcq-gt-kafka"} == 0

说明：检测kafka监控agent是否存活、或者是kafka服务是否挂掉

##### 2、kafka监控集群节点数 #####

PromQL语句：

kafka_brokers{job="job-gtcq-gt-kafka",service="gtcq-gt-kafka-service"}

说明：检测kafka监控集群节点数、如果和实际不一致就告警

##### 3、kafka监控消费延迟 #####

PromQL语句：

sum(kafka_consumergroup_lag{instance="10.152.17.50:9308",job="job-gtcq-gt-kafka",service="gtcq-gt-kafka-service"})  by(topic,job) > 50000

说明：检测kafka监控消费延迟、如果消费延迟50000条就告警

[caf648fce46d1831f5ca769688d2bcff.png]: /images/20221020/4f714f01bea14458a3d16bf3b80227d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMxNTU1OTUx_size_16_color_FFFFFF_t_70]: /images/20221020/4f5f76941513483d98a0eac34617ea59.png