[prometheus]Step11-prometheus动态监控服务器端口并告警

心已赠人 2023-02-15 14:58 8阅读 0赞

办法比较捞～

有大佬有好的方法或者现成的代码提供小弟感激不尽！！

之前zabbix做了动态监控服务器上端口监控的告警，换到prometheus 暂时还没有发现怎么做。因为有些端口新起的话 不想手动加到prometheus的配置里。

于是先用比较捞的方法，用一个8080的nginx 端口通过静态页面,ip:8080/metrics 提供给prometheus

![format_png][]

up用来表示8080端口健康情况

downports 为1表示端口正常 非1的话为不正常，并通过value把故障的port输出

yum -y install nginx

修改nginx.conf中server配置如下

server {
        listen       8080;
        server_name  $ip  localhost;
    location  / {
        root /opt/;
        index index.html;
    }
    location  /metrics {
        try_files '' /index.html;
        root /opt/;
        index index.html;
    }
    }

创建获取端口号的脚本 因为metrics里只能写数字 所以当有多个端口挂掉的时候 我是用4个0作为分割 一次性输出的。有点捞。

不过告警 有总比没有强。后续有更好的方案 再改进。

# 创建脚本/srv/check_port_alive.sh
    #!/bin/bash
    source /etc/profile
    cd /srv
    echo 1
    if [ ! -f "port_before" ]; then
        echo port_before 不存在
        netstat -tpln |awk '{print $4}' |awk -F[:]  '{print $NF}' |grep  '[[:digit:]]' > /srv/port_before
    else
        echo port_before 存在
    fi
    
    
    echo 2
    netstat -tpln |awk '{print $4}' |awk -F[:]  '{print $NF}' |grep  '[[:digit:]]' > /srv/port_now
    
    
    port_dif=`grep -vFf port_now port_before`
    
    
    echo 3
    if [ ! -n "$port_dif" ]; then
     echo " 原先端口没有异常！"
     echo up 1 >  /opt/index.html ;echo  downports  1 >> /opt/index.html  >> /opt/index.html
     cp -f  /srv/port_now  /srv/port_before
    else
     echo " 原先端口存在异常！"
     cat /dev/null > /opt/index.html
     echo -n downports 0000 >> /opt/index.html
     for i in `grep -vFf port_now port_before`;do echo -n  0000$i   >> /opt/index.html ;done
     sed -i '$aup 1'  /opt/index.html
     #echo up 1 > /opt/index.html ;echo downports 0000 >> /opt/index.html ; for i in `grep -vFf port_now port_before`;do echo -n 0000$i >> /opt/index.html ;done
     # 覆盖一下文件 确保万一新生成的端口
     for i in `grep -vFf port_now port_before`;do echo $i >> /srv/port_now ;done
     cp -f  /srv/port_now /srv/port_before
    fi
    
    
    # 添加脚本执行权限
    chmod +x /srv/check_port_alive.sh

设置定时任务crontab -e

680  systemctl  restart prometheus
    * * * * *  sh /srv/check_port_alive.sh

创建prometheus告警rule文件 /srv/prometheus/conf/rule\_port\_down.yml

groups:
    - name: 端口存活告警规则
      rules:
      - alert: 端口存活告警
        expr: downports != 1
        for: 1m
        labels:
          user: prometheus
          severity: warning
        annotations:
          description: "{ { $labels.instance }} of job { { $labels.job }} { { $value }} { { $labels.hostname }}has been down for more than 1 minutes."
          # description: "{ { $labels.instance }} of job { { $labels.job }} { { $value }} { { $labels.hostname }}挂了"

在prometheus.yml里添加如下配置

- job_name: 'test-rule'
        static_configs:
        - targets: ['192.168.10.167:8080']  ## 目标主机

![format_png 1][]

启动服务 测试一下效果

# 启动nginx
    /usr/sbin/nginx
    # 重启prometheus
    systemctl  restart prometheus
    systemctl  status  prometheus

生成了2个文件port\_before port\_now

![format_png 2][]

查看目前启动着的端口号

![format_png 3][]

安装(略)并启动一个tomcat 端口为8081 8009 8005 并在2分钟后 关闭这些端口

# 我服务器上没有其他java进程 所以用了pkill 
    sh /usr/local/tomcat/bin/startup.sh  ;sleep 120 ;pkill java

![format_png 4][]

查看文件变化 发现已经获取到这些端口了

![format_png 5][]

等待告警触发

![format_png 6][]

![format_png 7][]

这里字符太长了。可以直接把后面has been down 的改成中文端口挂了

告警恢复

如果不需要这些端口的话 需要修改port\_now并覆盖port\_before

![format_png 8][]

![format_png 9][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNjA1MTEwNjMwLnBuZw?x-oss-process=image/format,png
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNjA1MTExMDMxLnBuZw?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNjA1MTAxODQ4LnBuZw?x-oss-process=image/format,png
[format_png 3]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNjA1MTAyMDAyLnBuZw?x-oss-process=image/format,png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNjA1MTAyMTQwLnBuZw?x-oss-process=image/format,png
[format_png 5]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNjA1MTAyMjM3LnBuZw?x-oss-process=image/format,png
[format_png 6]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNjA1MTA1NjA2LnBuZw?x-oss-process=image/format,png
[format_png 7]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNjA1MTA1ODA0LnBuZw?x-oss-process=image/format,png
[format_png 8]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNjA1MTEwMDM5LnBuZw?x-oss-process=image/format,png
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9naXRlZS5jb20vamlhbWlueHUvQmxvZ0ltYWdlL3Jhdy9tYXN0ZXIvaW1nLzIwMjAwNjA1MTEwMjQzLnBuZw?x-oss-process=image/format,png