Linux云计算架构-搭建prometheus+grafana云平台监控系统

Dear 丶 2022-11-28 13:36 418阅读 0赞

### 文章目录 ###

*  Linux云计算架构-搭建prometheus+grafana云平台监控系统
 *   *  1. prometheus介绍
     *  2. prometheus架构原理
     *   *  2.1 prometheus架构组成
         *  2.2 prometheus架构工作流
     *  3. 部署promethues云平台监控系统
     *   *  3.1 下载安装包
         *  3.2 部署prometheus server
         *  3.3 部署exporter(出口节点)
     *  4. 使用grafana美化prometheus
     *   *  4.1 安装grafana
         *  4.2 美化prometheus
     *  5. 效果图
     *   *  5.1 系统状态
         *  5.2 mysql数据库状态
     *  6. 调整仪表盘监控面板

# Linux云计算架构-搭建prometheus+grafana云平台监控系统 #

## 1. prometheus介绍 ##

prometheus(普罗米修斯)，是一套结合了监控、报警、时间序列数据库为一体的开源监控系统。常用于doker、mesos、kubernetes容器管理系统中。

**监控原理**：通过`http`协议周期性的获取被监控组件的状态。被监控组件只需提供相应的http接口即可，不需要任何的SDK或者其他的集成过程。

**被监控组件提供状态信息的http接口**称之为`exporter`。  
目前互联网公司大部分的组件都有`exporter`可以直接使用。

相对于nagios和zabbix的监控界面，prometheus的监控界面更为美观。

## 2. prometheus架构原理 ##

**promethues架构**是promethues及其一些生态系统组件的整体架构。

### 2.1 prometheus架构组成 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center]

**prometheus server**：是prometheus组件的核心部分，负责获取监控数据，并对其存储和查询。可以通过静态配置管理监控目标，也可以配置service discovery(服务发现)的方式动态管理监控目标，并从这些目标中获取数据。prometheus server是一个实时数据库，将采集的监控数据以时间序列的方式存储到本地磁盘中。对外提供自定义的promQL，实现对数据的查询和分析。prometheus server还可以从其他的prometheus server实例中获取数据。

**exporter**：被监控组件提供监控数据的接口，使得监控数据通过http服务的形式展示给prometheus server。而prometheus server通过访问exporter提供的endpoint端口，就可以获取到监控数据。  
`exporter`一般分为2类：  
**①直接采集**：支持prometheus，直接采集被监控组件的信息。  
**②间接采集**：不直接支持prometheus，通过prometheus提供的针对该监控组件的监控采集程序来采集被监控组件的数据。

**alertmanager**：在prometheus server中支持基于promQL创建告警规则，如果满足promQL定义的规则，就会产生告警。常见接受方式为：邮件，webhook。【类似zabbix中的触发器】

**pushgateway**：prometheus数据采集基于prometheus server从exporter中pull(拉)数据，这必须保持prometheus和exporter之间的通信。若不允许两者之间的通信，可以使用pushgateway来进行中转，即被监控组件主动推数据到pushgateway上，然后pushgateway再将数据发送到promethues server。

### 2.2 prometheus架构工作流 ###

1.  `promethues server`获取`metrics`(指标)  
    ①从配置好的`jobs`和`exporter`中拉取`metrics`  
    ②接受`pushgateway`发送过来的`metrics`  
    ③从其他`promethues server`中拉取`metrics`
2.  `promethues server`处理`metrics`  
    ①本地存储`metrics`  
    ②运行定义好的`alerts.rules`  
    ③满足规则，向`alertmanager`推送警报；不满足规则，仅记录新的时间序列。
3.  `alertmanager`处理警报
    
    ①根据配置文件，对接受的警报进行处理，发出告警。
4.  图形界面对数据进行可视化。

## 3. 部署promethues云平台监控系统 ##

**prometheus云平台监控系统拓扑图：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 1]

### 3.1 下载安装包 ###

# 下载以下6个tar包，国内的网不一定下的到。
    # 下载地址：https://prometheus.io/download/
    # premetheus server和alertmanager下载
    https://github.com/prometheus/prometheus/releases/download/v2.20.1/prometheus-2.20.1.linux-amd64.tar.gz
    
    https://github.com/prometheus/alertmanager/releases/download/v0.21.0/alertmanager-0.21.0.linux-amd64.tar.gz
    
    # mysqld_exporter、node_exporter、pushgateway下载
    https://github.com/prometheus/mysqld_exporter/releases/download/v0.12.1/mysqld_exporter-0.12.1.linux-amd64.tar.gz
    
    https://github.com/prometheus/node_exporter/releases/download/v1.0.1/node_exporter-1.0.1.linux-amd64.tar.gz
    
    https://github.com/prometheus/pushgateway/releases/download/v1.2.0/pushgateway-1.2.0.linux-amd64.tar.gz
    
    # grafana下载
    https://dl.grafana.com/oss/release/grafana-7.1.3-1.x86_64.rpm
    
    # 这个地址比较快
    https://mirrors.huaweicloud.com/grafana/7.1.3/grafana-7.1.3.linux-amd64.tar.gz
    
    [root@master prometheus]# pwd
    /root/prometheus
    [root@master prometheus]# ls
    alertmanager-0.21.0.linux-amd64.tar.gz     node_exporter-1.0.1.linux-amd64.tar.gz
    grafana-7.1.3.linux-amd64.tar.gz           prometheus-2.20.1.linux-amd64.tar.gz
    mysqld_exporter-0.12.1.linux-amd64.tar.gz  pushgateway-1.2.0.linux-amd64.tar.gz

### 3.2 部署prometheus server ###

# 安装epel扩展源
    [root@master ~]# yum install epel-release -y
    
    # 安装go语言环境
    # go(golang)是goolge开发的一种静态强类型、编译型、并发型、具有垃圾回收功能的编程语言。
    [root@master ~]# yum install go -y
    [root@master ~]# go version
    go version go1.13.14 linux/amd64
    
    # 直接解压到/usr/local/目录下即可使用
    [root@master ~]# tar xzf /root/prometheus/prometheus-2.20.1.linux-amd64.tar.gz -C /usr/local/
    [root@master ~]# ll -d /usr/local/prometheus-2.20.1.linux-amd64/
    drwxr-xr-x. 4 3434 3434 144 8月   6 03:42 /usr/local/prometheus-2.20.1.linux-amd64/
    
    # 修改prometheus的配置文件，最后加即可。
    # yml语法注重缩进
    vim prometheus.yml
      - job_name: system-status              # 监控项，监控系统状态
        static_configs:          
          - targets: ['192.168.8.178:9100']  # 监控主机IP和端口号
            labels:
              instance: server-status
      - job_name: mysql-status               # 监控mysql状态
        static_configs:
          - targets: ['192.168.8.178:9104']  #监控主机IP和端口号
            labels:
              instance: server-mysql         # 实例名，用于grafana
    
    # 启动prometheus，并放到后台运行
    [root@master ~]# cd /usr/local/prometheus-2.20.1.linux-amd64/
    [root@master prometheus-2.20.1.linux-amd64]# ./prometheus --config.file=prometheus.yml &
    
    ===========================================
    &              前台进程放到后台运行
    jobs           查看当前的后台进程
    fg 后台序号     后台进程放到前台运行
    ctrl+z         前台进程放到后台运行，并停止
    bg             后台进程继续运行
    ctrl+c         退出前台进程
    ===========================================
    
    # 如果不用&,表示前台运行。
    # 看到下面这句就说明启动成功了
    level=info ts=2020-08-17T14:17:25.259Z caller=main.go:652 msg="Server is ready to receive web requests."
    # 按了ctrl+c退出，即关闭了。
    level=info ts=2020-08-17T14:21:12.348Z caller=main.go:767 msg="See you next time!"
    
    # 由于prometheus服务器占用9090号端口，故防火墙要开放9090号端口
    [root@master ~]# firewall-cmd --permanent --zone=public --add-port=9090/tcp
    success
    [root@master ~]# firewall-cmd --reload 
    success
    
    # 查看prometheus的web界面
    http://192.168.8.177:9090/

[root@master prometheus-2.20.1.linux-amd64]# cat prometheus.yml 
    # my global config
    global:
      scrape_interval:     15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.
      evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.
      # scrape_timeout is set to the global default (10s).
    
    # Alertmanager configuration
    alerting:
      alertmanagers:
      - static_configs:
        - targets:
          # - alertmanager:9093
    
    # Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
    rule_files:
      # - "first_rules.yml"
      # - "second_rules.yml"
    
    # A scrape configuration containing exactly one endpoint to scrape:
    # Here it's Prometheus itself.
    scrape_configs:
      # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
      - job_name: 'prometheus'
        # metrics_path defaults to '/metrics'
        # scheme defaults to 'http'.
        static_configs:
        - targets: ['localhost:9090']
        
      - job_name: system-status              # 监控项，监控系统状态
        static_configs:          
          - targets: ['192.168.8.178:9100']  # 监控主机IP和端口号
            labels:
              instance: server-status
      - job_name: mysql-status               # 监控mysql状态
        static_configs:
          - targets: ['192.168.8.178:9104']  #监控主机IP和端口号
            labels:
              instance: server-mysql         # 实例名，用于grafana
    
    # 监控多个IP地址
    ['192.168.8.100:9100','192.168.8.101:9100']

### 3.3 部署exporter(出口节点) ###

**常用exporter：**  
①`node_exporter`监控系统性能和运行状态  
②`mysqld_exporter`监控mysql数据库服务  
③`snmp_exporter`监控网络设备

# 在被监控主机上配置以下2个exporter出口节点，即接口。用于采集被监控主机上对应的状态。
    # 传输tar包
    [root@master prometheus]# scp /root/prometheus/node_exporter-1.0.1.linux-amd64.tar.gz 192.168.8.178:/opt/
    [root@master prometheus]# scp /root/prometheus/mysqld_exporter-0.12.1.linux-amd64.tar.gz 192.168.8.178:/opt/
    
    1. 配置node_exporter
    [root@client ~]# tar xzf /opt/node_exporter-1.0.1.linux-amd64.tar.gz -C /usr/local/
    [root@client ~]# /usr/local/node_exporter-1.0.1.linux-amd64/node_exporter &
    [root@client ~]# netstat -antup | grep 9100
    tcp6       0      0 :::9100                 :::*                    LISTEN      10098/node_exporter 
    tcp6       0      0 192.168.8.178:9100      192.168.8.177:52894     ESTABLISHED 10098/node_exporter 
    
    2. 配置mysqld_exporter
    # 如果有类似报错：Access denied for user 'zabbix'@'localhost' (using password: YES)
    # 估计要重置对应用户密码。
    [root@client ~]# mysql -uroot -p
    Enter password: 
    Welcome to the MariaDB monitor.  Commands end with ; or \g.
    Your MariaDB connection id is 4
    Server version: 5.5.60-MariaDB MariaDB Server
    
    Copyright (c) 2000, 2018, Oracle, MariaDB Corporation Ab and others.
    
    Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
    
    MariaDB [(none)]> use mysql
    Reading table information for completion of table and column names
    You can turn off this feature to get a quicker startup with -A
    
    Database changed
    MariaDB [mysql]> grant replication client,process on *.* to 'mysql_monitor'@'localhost' identified by '123456';
    Query OK, 0 rows affected (0.05 sec)
    
    MariaDB [mysql]> grant select on *.* to 'mysql_monitor'@'localhost';
    Query OK, 0 rows affected (0.00 sec)
    
    MariaDB [mysql]> exit
    Bye
    
    # 解压mysql_exportor
    [root@client ~]# tar xzf /opt/mysqld_exporter-0.12.1.linux-amd64.tar.gz -C /usr/local/
    # 使用指定数据库用户进行收集数据
    [root@client ~]# vim /usr/local/mysqld_exporter-0.12.1.linux-amd64/.my.cnf
    [root@client ~]# cat /usr/local/mysqld_exporter-0.12.1.linux-amd64/.my.cnf 
    [client]
    user=mysql_monitor
    password=123456
    # 启动mysql_exportor,看到以下内容说明启动成功。
    [root@client ~]# /usr/local/mysqld_exporter-0.12.1.linux-amd64/mysqld_exporter --config.my-cnf="/usr/local/mysqld_exporter-0.12.1.linux-amd64/.my.cnf" &
    [1] 20812
    [root@client ~]# INFO[0000] Starting mysqld_exporter (version=0.12.1, branch=HEAD, revision=48667bf7c3b438b5e93b259f3d17b70a7c9aff96) source="mysqld_exporter.go:257"
    INFO[0000] Build context (go=go1.12.7, user=root@0b3e56a7bc0a, date=20190729-12:35:58)  source="mysqld_exporter.go:258"
    INFO[0000] Enabled scrapers:                             source="mysqld_exporter.go:269"
    INFO[0000]  --collect.global_status                      source="mysqld_exporter.go:273"
    INFO[0000]  --collect.global_variables                   source="mysqld_exporter.go:273"
    INFO[0000]  --collect.slave_status                       source="mysqld_exporter.go:273"
    INFO[0000]  --collect.info_schema.innodb_cmp             source="mysqld_exporter.go:273"
    INFO[0000]  --collect.info_schema.innodb_cmpmem          source="mysqld_exporter.go:273"
    INFO[0000]  --collect.info_schema.query_response_time    source="mysqld_exporter.go:273"
    INFO[0000] Listening on :9104                            source="mysqld_exporter.go:283

可以看到，prometheus server已经可以从远程主机上获取到系统状态信息和mysql数据库信息了。都为up了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 4]

# 查看下端口，监听正常
    [root@client ~]# netstat -antup | grep 9100
    tcp6       0      0 :::9100                 :::*                    LISTEN      10098/node_exporter 
    tcp6       0      0 192.168.8.178:9100      192.168.8.177:50488     ESTABLISHED 10098/node_exporter 
    [root@client ~]# netstat -antup | grep 9104
    tcp6       0      0 :::9104                 :::*                    LISTEN      20812/mysqld_export 
    tcp6       0      0 192.168.8.178:9104      192.168.8.177:39890     ESTABLISHED 20812/mysqld_export

至此为止，prometheus云平台监控系统已经部署完毕了。

## 4. 使用grafana美化prometheus ##

如果监控看的是以上界面，那怎么可以说prometheus的界面比zabbix好看呢？这时需要使用grafana美化工具进行美化下。

### 4.1 安装grafana ###

[root@master ~]# ll /root/prometheus/grafana-7.1.3.linux-amd64.tar.gz 
    -rw-r--r--. 1 root root 52611015 8月   6 12:55 /root/prometheus/grafana-7.1.3.linux-amd64.tar.gz
    [root@master ~]# tar xzf /root/prometheus/grafana-7.1.3.linux-amd64.tar.gz -C /usr/local/
    [root@master ~]# cd /usr/local/grafana-7.1.3/
    # 后台运行grafana
    [root@master grafana-7.1.3]# ./bin/grafana-server &
    # 可以看到后台运行的已经有两个程序了。
    [root@master grafana-7.1.3]# jobs
    [1]-  运行中               ./prometheus --config.file=prometheus.yml &(工作目录：/usr/local/prometheus-2.20.1.linux-amd64)
    [2]+  运行中               ./bin/grafana-server &
    
    # 防火墙开放3000端口号
    [root@master grafana-7.1.3]# firewall-cmd --permanent --zone=public --add-port=3000/tcp
    success
    [root@master grafana-7.1.3]# firewall-cmd --reload 
    success
    
    # 还是不懂的，可以参考以下网址：
    https://grafana.com/docs/grafana/latest/installation/rpm/

访问：`http://192.168.8.177:3000/login`，可以看到以下内容。  
初始账号密码：`admin`/`admin`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 5]  
修改初始密码：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 6]  
登录进来的首页如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 7]

### 4.2 美化prometheus ###

用ie打开这个grafana界面兼容性有问题。我这里用谷歌展示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 10]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 11]  
添加系统状态信息和mysql数据库信息的仪表盘：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 12]  
![在这里插入图片描述][20200818223837882.png_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 13]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 14]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 15]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 16]  
通过以上查找，可以看到两个仪表盘的ID分别是：8919 7362  
导入系统状态的仪表盘：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 17]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 18]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 19]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 20]  
导入mysql数据库信息的仪表盘：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 21]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 22]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 23]  
以上就是系统状态和mysql数据库状态信息的监控面板了。

## 5. 效果图 ##

### 5.1 系统状态 ###

### 5.2 mysql数据库状态 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 28]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 29]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 30]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 31]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 32]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 33]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 34]

## 6. 调整仪表盘监控面板 ##

导入仪表盘模板后，最好不要对其删除。先了解仪表盘内各监控内容，然后选择性的删除。因为想要添加是要写查询的，不好写。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 35]  
**以上就是prometheus监控系统的内容了，对于一些其他的监控实战，可以关注博主，后续会有。**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/c8a8af57f68a4ac58bef7b01af3f2030.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221124/906acca3056843339b80dc493a22e4ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221124/3fda1df30ff34c9f9578e3121d850391.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221124/9066aa5d3569438fa01f60ac5ff4e3cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221124/ba1d9c06b8014b10802daf15de9e12d3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221124/e42afab0aa1b400987f9009dcb850ccc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221124/49deb97089764007b84ecad28031b85e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 7]: /images/20221124/e5cf416955164c6aaf95c4fbf26f81ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20221124/fe768b4f1fd448e490de41a14bbed904.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20221124/38de9606efe6433f8cf4be8fce5b02db.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20221124/24e77f343dfd4abb86fe93cf7c7d6f06.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20221124/079933f10bec4fd0a18f7138d63bebed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20221124/c05ee64575234ea5ab6deea5dc8367ba.png
[20200818223837882.png_pic_center]: /images/20221124/571e63b3bab1488780915440dc1cc64b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 13]: /images/20221124/0ee66fa3c76d4ee68a75e17bc4a91611.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 14]: /images/20221124/31807a0e72a24da68549c761fb6ef8cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 15]: /images/20221124/d884a86ff1014a6eb3fa00a496be9810.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 16]: /images/20221124/d309e8fe47b4414a8804019f480e0e59.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 17]: /images/20221124/a986d94a83394c2b98d58bcd3735d16b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 18]: /images/20221124/b3be8b8fab63477a8b67186de1ba2f91.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 19]: /images/20221124/64ac28a673f142519446ef89b60bcb0a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 20]: /images/20221124/1c859186ff6d4e8baa8a8c516cb81362.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 21]: /images/20221124/51cf82b04b374f92a5497a86ce2e2fff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 22]: /images/20221124/57f7ed68f889434eb842ecfd946adccb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 23]: /images/20221124/c655bf2fc90d4aae80975a1e53f1448e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 24]: /images/20221124/a7c4417ad8084d81b8f6fa21856fa2cd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 25]: /images/20221124/fcd394f6863546a68dc08ead69fed0ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 26]: /images/20221124/de960a2f43ec43feac377a8af95caec5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 27]: /images/20221124/d61dc45174984e32b613cf83f3ecfc22.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 28]: /images/20221124/a0c967fa4a3d4f51bb945d39fa1147f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 29]: /images/20221124/2f1d547888de446eb2cd1894de560e1e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 30]: /images/20221124/7d7e5ef0dea24bc19fba37605c4d1961.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 31]: /images/20221124/b550983cabc447c5b5ddc2c17d47d665.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 32]: /images/20221124/bdf90338f814494a9235283140a7400f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 33]: /images/20221124/887b95d535b746b0940daf85b1172ddd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 34]: /images/20221124/f794ea67f58341399d444fbd94a8abcf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl8zNjUyMjA5OQ_size_16_color_FFFFFF_t_70_pic_center 35]: /images/20221124/178304b7290d4065acf2b66066bd5623.png