手把手教你SpringBoot+Prometheus+Grafana实现应用监控和报警

我不是女神ヾ 2022-11-10 14:13 247阅读 0赞

## 一、背景 ##

SpringBoot的应用监控方案比较多，SpringBoot+Prometheus+Grafana是目前比较常用的方案之一。它们三者之间的关系大概如下图：

![20201f6e52ebbdc50bf6c5bd60308c97.png][]

关系图

## 二、开发SpringBoot应用 ##

首先，创建一个SpringBoot项目，pom文件如下：

<dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-actuator</artifactId>
    </dependency>
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-web</artifactId>
    </dependency>
    
    <dependency>
        <groupId>org.projectlombok</groupId>
        <artifactId>lombok</artifactId>
        <optional>true</optional>
    </dependency>
    
    
    <dependency>
        <groupId>io.prometheus</groupId>
        <artifactId>simpleclient_spring_boot</artifactId>
        <version>0.8.1</version>
    </dependency>
    
    <dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-security</artifactId>
    </dependency>

**注意：** 这里的SpringBoot版本是1.5.7.RELEASE，之所以不用最新的2.X是因为最新的simpleclient\_spring\_boot只支持1.5.X，不确定2.X版本的能否支持。

MonitorDemoApplication启动类增加注解

package cn.sp; 
     
    import io.prometheus.client.spring.boot.EnablePrometheusEndpoint; 
    import io.prometheus.client.spring.boot.EnableSpringBootMetricsCollector; 
    import org.springframework.boot.SpringApplication; 
    import org.springframework.boot.autoconfigure.SpringBootApplication; 
    @EnablePrometheusEndpoint 
    @EnableSpringBootMetricsCollector 
    @SpringBootApplication 
    public class MonitorDemoApplication { 
     
        public static void main(String[] args) { 
            SpringApplication.run(MonitorDemoApplication.class, args); 
        } 
     
    }

配置文件application.yml

server: 
      port: 8848 
    spring: 
      application: 
        name: monitor-demo 
     
    security: 
      user: 
        name: admin 
        password: 1234 
      basic: 
        enabled: true 
        # 安全路径列表，逗号分隔，此处只针对/admin路径进行认证 
        path: /admin 
     
    # actuator暴露接口的前缀 
    management: 
      context-path: /admin 
      # actuator暴露接口使用的端口，为了和api接口使用的端口进行分离 
      port: 8888 
      security: 
        enabled: true 
        roles: SUPERUSER

测试代码TestController

@RequestMapping("/heap/test")
    @RestController
    public class TestController {
     
        public static final Map<String, Object> map = new ConcurrentHashMap<>();
     
        @RequestMapping("")
        public String testHeapUsed() {
            for (int i = 0; i < 10000000; i++) {
                map.put(i + "", new Object());
            }
            return "ok";
        }
    }

这里的逻辑就是在请求这个接口后，创建大量对象保存到map中增加堆内存使用量，方便后面测试邮件报警。

启动项目后，可以在IDEA中看到有很多Endpoints，如图：

![1ef87c3e671bbaeb66db1d00c62c03e4.png][]

开始我的IDEA是不显示这个Endpoints，后来发现是我使用的idea版本太老了,还是2017.1的，  
而这个需要 idea2017.2版本以上才能看到。

后来只好重新下载安装，弄了好久。。。。

启动完毕，访问http://localhost:8888/admin/prometheus就可以看到服务暴露的那些监控指标了。

![d0b0b2922fa6e5b370367a5051b4f0df.png][]

**注意：**

> 由于开启了安全认证，所以访问这个URL的需要提示输入账号/密码，如果提示404请检查下你的请求地址是否正确，如果不设置management.context-path则默认地址是http://ip:port/prometheus

## 三、安装Prometheus ##

下载地址

> https://prometheus.io/download/

本文下载的是Windows版本prometheus-2.17.2.windows-amd64.tar.gz。

解压后修改prometheus.yml文件，配置数据采集的目标信息。

scrape_configs: 
      # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config. 
      # - job_name: 'prometheus' 
     
        # metrics_path defaults to '/metrics' 
        # scheme defaults to 'http'. 
     
        # static_configs: 
        # - targets: ['localhost:9090'] 
      - job_name: 'monitor-demo' 
        scrape_interval: 5s # 刮取的时间间隔 
        scrape_timeout: 5s  
        metrics_path: /admin/prometheus 
        scheme: http  
        basic_auth: #认证信息 
          username: admin 
          password: 1234 
        static_configs: 
          - targets: 
            - 127.0.0.1:8888  #此处填写 Spring Boot 应用的 IP + 端口号

更多配置信息请查看官方文档。

现在可以启动Prometheus了，命令行输入：prometheus.exe --config.file=prometheus.yml  
访问http://localhost:9090/targets，查看Spring Boot采集状态是否正常。

![1ab41fabca58d34eea3079cbbbbed312.png][]

## 四、安装Grafana    ##

下载地址

> https://grafana.com/grafana/download

本文用到的是Windows版本grafana-6.3.3.windows-amd64.zip。

解压后运行bin目录下的grafana-server.exe启动，游览器访问http://localhost:3000即可看到登录页面，默认账号密码是admin/admin。

现在开始创建自己的可视化监控面板。

**1.设置数据源**

![883e2e2fa0fb121d4087912d57b1161a.png][]

**2. 创建一个Dashboard**

![b539f2b19505c80a8d72cbb5cd5118e9.png][]

![02a088b081eb9325fb9162b0ec4064d3.png][]

**3. 填写采集的指标点**

![768e37fb00ed61812ea4a42229fad14d.png][]

**注意：** 这里的指标点不能随便填，必须是已有的可以在 Prometheus看到。

![e46d458aa962497ece52dee5bf9b6860.png][]

**4.选择图表样式**

![d4b4ca873d8b124fc04fafc3ffd93e76.png][]

**5.填写标题描述**

![9bb50011bf9139d2f17465292698e6f3.png][]

最后点击右上角的保存，输入Dashboad的名称即可。

![2281da1218700ca35c643fa86d9f3184.png][]

**Tips:** 这里的图表布局是可以用鼠标拖动的

## 五、添加邮件报警 ##

在实际项目中当监控的某的个指标超过阈值（比如CPU使用率过高），希望监控系统自动通过短信、钉钉和邮件等方式报警及时通知运维人员，Grafana就支持该功能。

**第一步：** 点击\[Alerting\]——>\[Notification channels\]添加通知通道

![b3f05862368cea5c0b0e10984d5489fa.png][]

创建通道

![08c4d7d9676e8123970ec6733752a8c7.png][]

编辑

这里的Type有很多选项，包括webhook、钉钉等，这里以邮件为例。

**第二步：** 邮箱配置

Grafana默认使用conf目录下defaults.ini作为配置文件运行，根据官方的建议我们不要更改defaults.ini而是在同级目录下新建一个配置文件custom.ini。

以腾讯企业邮箱为例，配置如下：

#################################### SMTP / Emailing #####################
    [smtp]
    enabled = true
    host = smtp.exmail.qq.com:465
    user = xxxx@ininin.com
    # If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
    password = XXX
    cert_file =
    key_file =
    skip_verify = true
    from_address = xxxx@ininin.com
    from_name = Grafana
    ehlo_identity = ininin.com

然后需要重启Grafana，命令grafana-server.exe -config=E:\\file\\grafana-6.3.3\\conf\\custom.ini

**第三步：** 为指标添加alert

![960e706d90090ca6d2914bd7e5f4402f.png][]

配置预警规则

![114583a80d854efefd02011a867e5434.png][]

配置通知方式和信息

Evaluate every

> 表示检测评率，这里为了测试效果，改为1秒

For

> 如果警报规则配置了For，并且查询违反了配置的阈值，那么它将首先从OK变为Pending。从OK到Pending Grafana不会发送任何通知。一旦警报规则的触发时间超过持续时间，它将更改为Alerting并发送警报通知。

Conditions

> when 表示什么时间，of 表示条件，is above 表示触发值  
> 同时，设置了is above后会有一条红线。

If no data or all values are null

> 如果没有数据或所有值都为空，这里选择触发报警

If execution error or timeout

> 如果执行错误或超时，这里选择触发报警

**注意：** 下一次触发，比如10秒后，它不会再次触发，防止报警风暴产生！

**第四步：** 测试  
请求http://localhost:8848/heap/test接口后，内存升高大于设置的阈值，然后就收到报警邮件。

![f91448cdcc4ebba2aac89a437087f05b.png][]

报警邮件

## 六、总结 ##

这套监控功能还是挺强大的，就是Prometheus的表达式有点多。

附上几个链接：

*  https://prometheus.io/docs/introduction/first\_steps/
 *  https://grafana.com/docs/grafana/latest/
 *  https://github.com/2YSP/monitor-demo

推荐阅读：

*  [未来会是时序数据库的天下吗？][Link 1]
 *  [常见面试题总结，数据库、监控、网络管理][Link 2]
 *  [微服务不是架构演变的终点！][Link 3]

![ab6b1817b94cdb55bfbc35ee0a1a19e4.png][]

[20201f6e52ebbdc50bf6c5bd60308c97.png]: /images/20221022/ca34848cb480432d97109700b0c5c3f6.png
[1ef87c3e671bbaeb66db1d00c62c03e4.png]: /images/20221022/9c776ffdb2fc429d80dfd8e531b63001.png
[d0b0b2922fa6e5b370367a5051b4f0df.png]: /images/20221022/5974fe6f21334f4f846d96200af4cef3.png
[1ab41fabca58d34eea3079cbbbbed312.png]: /images/20221022/dc88df21f94442b8844b7a8b9bd32e47.png
[883e2e2fa0fb121d4087912d57b1161a.png]: /images/20221022/5d379e3a16ae4b449d819027d5af0197.png
[b539f2b19505c80a8d72cbb5cd5118e9.png]: https://img-blog.csdnimg.cn/img_convert/b539f2b19505c80a8d72cbb5cd5118e9.png
[02a088b081eb9325fb9162b0ec4064d3.png]: https://img-blog.csdnimg.cn/img_convert/02a088b081eb9325fb9162b0ec4064d3.png
[768e37fb00ed61812ea4a42229fad14d.png]: https://img-blog.csdnimg.cn/img_convert/768e37fb00ed61812ea4a42229fad14d.png
[e46d458aa962497ece52dee5bf9b6860.png]: https://img-blog.csdnimg.cn/img_convert/e46d458aa962497ece52dee5bf9b6860.png
[d4b4ca873d8b124fc04fafc3ffd93e76.png]: https://img-blog.csdnimg.cn/img_convert/d4b4ca873d8b124fc04fafc3ffd93e76.png
[9bb50011bf9139d2f17465292698e6f3.png]: https://img-blog.csdnimg.cn/img_convert/9bb50011bf9139d2f17465292698e6f3.png
[2281da1218700ca35c643fa86d9f3184.png]: https://img-blog.csdnimg.cn/img_convert/2281da1218700ca35c643fa86d9f3184.png
[b3f05862368cea5c0b0e10984d5489fa.png]: https://img-blog.csdnimg.cn/img_convert/b3f05862368cea5c0b0e10984d5489fa.png
[08c4d7d9676e8123970ec6733752a8c7.png]: https://img-blog.csdnimg.cn/img_convert/08c4d7d9676e8123970ec6733752a8c7.png
[960e706d90090ca6d2914bd7e5f4402f.png]: https://img-blog.csdnimg.cn/img_convert/960e706d90090ca6d2914bd7e5f4402f.png
[114583a80d854efefd02011a867e5434.png]: https://img-blog.csdnimg.cn/img_convert/114583a80d854efefd02011a867e5434.png
[f91448cdcc4ebba2aac89a437087f05b.png]: https://img-blog.csdnimg.cn/img_convert/f91448cdcc4ebba2aac89a437087f05b.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIyODE5NjUwNQ%3D%3D&chksm=f387628dc4f0eb9bbdb3cde37a545b8a6dbd5591c5a3f4cba5f561e1ab25d64e721c0f2eff73&idx=1&mid=2653318011&scene=21&sn=25234b33093c08234d04df7d96b993c9#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzIyODE5NjUwNQ%3D%3D&chksm=f3877010c4f0f906d7992c9057f64a5bd622e8d9ec87efe6bc28f2497c237f0efa9a73ea88bf&idx=2&mid=2653321702&scene=21&sn=a0ec6de568149c20dbd66273fcddec33#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzIyODE5NjUwNQ%3D%3D&chksm=f38763ddc4f0eacbcab8ef7bac7fd9ecb8695a0a073a605ac01f4625364337ea6075ff9a5cf4&idx=1&mid=2653317675&scene=21&sn=c91f4f444d7e8887218e5d8b0b72372f#wechat_redirect
[ab6b1817b94cdb55bfbc35ee0a1a19e4.png]: https://img-blog.csdnimg.cn/img_convert/ab6b1817b94cdb55bfbc35ee0a1a19e4.png