使用Prometheus和Grafana做服务指标监控可视化（实践篇）

Love The Way You Lie 2022-10-23 08:10 840阅读 0赞

### 文章目录 ###

*  1 背景
 *  2 安装及启动Prometheus
 *  3 安装及使用Grafana
 *   *  3.1 安装Grafana
     *  3.2 使用Grafana
     *  3.3 查看Prometheus的性能数据来进行Grafana测试
 *  4 使用Prometheus和Grafana做服务器监控可视化
 *   *  4.1 官方Exporter使用
     *   *  4.1.1 服务器指标监控
         *   *  4.1.1.1 Exporter运行
             *  4.1.1.2 Exporter指标采集
             *  4.1.1.3 配置Grafana面板从而可视化指标
         *  4.1.2 MySQL指标监控
     *  4.2 使用go-kit实现自己的Exporter服务
     *   *  4.2.1 定义指标和标签
         *  4.2.2 统计数据
 *  5 总结

# 1 背景 #

最近团队开发了许多新的服务，这些服务都需要做指标的可视化监控，于是考虑使用Prometheus来实现，Prometheus是一个用于事件监控和告警的开源软件。本文是Prometheus的实践篇，主要总结了Prometheus的实践操作。主要考虑要先将它用起来，接下来会再总结一篇相关的原理文章。

# 2 安装及启动Prometheus #

[点击这里][Link 1]从官网直接下载Linux版的安装包，上传至Linux服务器上之后解压：  
`tar xvfz prometheus-2.25.0.linux-amd64.tar.gz`  
并且进入目录  
`cd prometheus-2.25.0.linux-amd64`  
![在这里插入图片描述][2021030916290379.png_x-oss-process_image]  
我们可以查看一下Prometheus的版本信息：  
![在这里插入图片描述][2021030916294424.png]  
将Prometheus运行起来：  
`./prometheus --config.file=prometheus.yml`  
![在这里插入图片描述][20210309162958693.png]  
运行Prometheus时需要指定配置文件：prometheus.yml  
我们看一下这个文件的内容：  
![在这里插入图片描述][20210309163009807.png_x-oss-process_image]  
后面我们会用到global和scrape\_configs，我们主要看一下：  
**global:**  
scrape\_interval 表示 Prometheus 多久从指标服务端口抓取一次数据  
evaluation\_interval 表示多久检测一次告警规则，并进行相应告警  
**scrape\_configs:**  
job\_name表示我们要监控的主体名称  
statis\_configs的targets表示我们要监听的服务的IP及端口，也就是说，服务会从该端口向Prometheus提供指标数据

# 3 安装及使用Grafana #

## 3.1 安装Grafana ##

虽然Prometheus自带的有可视化系统，但是相较于它，Grafana作为可视化监控系统会功能更强大，界面更美观。所以，我们将Prometheus作为数据采集器，将Grafana作为可视化监控系统来做数据指标的可视化。  
我们使用Docker安装方式对Grafana进行安装：  
`docker run -d -p 3000:3000 grafana/grafana`  
运行该命令，Grafana就安装好了。如果服务器的3000端口被占用，可以对冒号前的"3000"进行修改，以使用其他端口进行服务。如：  
`docker run -d -p xxx:3000 grafana/grafana`  
比如我这里就是在三天前在3001启动了该服务  
![在这里插入图片描述][20210309163054310.png]

## 3.2 使用Grafana ##

安装完成之后，我们可以访问`http://localhost:3000/`进入到Grafana的登录界面，用户名和密码默认为admin、admin。  
![在这里插入图片描述][20210309163106911.png]  
然后我们就可以选择我们希望被可视化的数据源了。这里，我们被可视化的数据源为Prometheus：  
![在这里插入图片描述][20210309163122437.png]  
![在这里插入图片描述][20210309163132374.png]  
![在这里插入图片描述][2021030916314471.png]  
这里我们重点要填3个地方：  
![在这里插入图片描述][20210309163153102.png]  
其中Access表示Grafana访问数据源的方式。如果可以直接通过浏览器访问，那么则选择Browser；否则，如果是需要通过Grafana的服务端来访问数据源的URL，则选择Server。

## 3.3 查看Prometheus的性能数据来进行Grafana测试 ##

Prometheus的数据源配置好了之后，我们就可以配置dashboard来查看数据源的监控数据了。  
Prometheus自带的有自身的监控服务，我们可以直接使用：  
![在这里插入图片描述][20210309163204890.png]  
导入Prometheus的dashboard之后，我们可以在这里查看一下已导入的dashboard：  
![在这里插入图片描述][2021030916321461.png]  
Prometheus的监控可视化图表：  
![在这里插入图片描述][20210309163222432.png]

# 4 使用Prometheus和Grafana做服务器监控可视化 #

我们已经了解到，Grafana只是一个用于从数据源获取数据并做可视化的系统，而Prometheus是Grafana的数据源之一。  
Prometheus是一个监控系统，它的数据指标也需要从一个服务中获取。而真正用于采集数据指标，并将数据指标通过端口暴露给Prometheus采集的服务叫做Exporter。  
这个Exporter可以自己写，用于定制自己的数据采集。也可以直接使用Prometheus官方提供的Exporter。官方提供的Exporter都是开箱即用的。我们先来试用一下，用官方的服务器指标监控Exporter以及MySQL指标监控Exporter。看看官方的Exporter都是如何即刻使用的，后续再进一步介绍如何定制自己的数据采集服务。  
Prometheus的整体架构图如下：  
![architecture.png][]  
(图片来自Prometheus官网)

## 4.1 官方Exporter使用 ##

### 4.1.1 服务器指标监控 ###

#### 4.1.1.1 Exporter运行 ####

服务器指标监控Exporter可以从我们的Linux服务器中采集到一些关键指标用于可视化  
接下来，我们就从官网下载并运行该Exporter  
在Linux中依次执行以下命令：

wget https://github.com/prometheus/node_exporter/releases/download/v1.1.1/node_exporter-1.1.1.linux-amd64.tar.gz
    
    tar xvfz node_exporter-1.1.1.linux-amd64.tar.gz
    
    cd node_exporter-1.1.1.linux-amd64
    
    ./node_exporter

![在这里插入图片描述][2021030916324917.png]  
![在这里插入图片描述][20210309163257382.png]  
执行之后，不出意外，我们可以看到上图所示服务执行起来了  
![在这里插入图片描述][2021030916330525.png]

该Exporter暴露9100端口、metrics路径给Prometheus，用于数据指标采集。  
我们可以访问下/metrics路径，看看能否正常获取到服务器指标：  
![在这里插入图片描述][20210309163312385.png]  
可以看到，我们已经可以正常获取到服务器的指标了。  
接下来，我们就应该考虑如何将Exporter的端口添加进Prometheus的配置了。这样，Prometheus才能从该Exporter中采集到指标数据。

#### 4.1.1.2 Exporter指标采集 ####

前面说过，Prometheus的配置文件是其目录下的`prometheus.yml`文件。  
我们将服务端口添加进`scrape_configs`配置中即可：  
![在这里插入图片描述][20210309163320817.png]

修改配置完成后，我们对Prometheus进行重启，或者发送HUP信号(`killall HUP prometheus`)，让Prometheus重新加载配置：  
![在这里插入图片描述][20210309163330220.png]  
这样，Prometheus就可以从node\_exporter这个官方Exporter中采集到该服务器的监控指标了。

#### 4.1.1.3 配置Grafana面板从而可视化指标 ####

我们已经通过Prometheus从Exporter中获取到了指标数据，接下来，我们就应该在Grafana中配置一下面板，从而将采集到的服务器指标数据做可视化。  
![在这里插入图片描述][20210309163338851.png]

import用于导入一个新的可视化面板  
![在这里插入图片描述][20210309163346965.png]  
可以看到，我们可以从Grafana官网导入一个现成的面板。  
进入[Grafana的dashboard页面][Grafana_dashboard]：  
![在这里插入图片描述][20210309163357726.png]  
我们可以直接使用上图所示的Node Exporter Full面板用于可视化服务器的指标数据。也可以在上图所示的搜索框中搜索自己想用的面板。  
这里我们使用Node Exporter Full面板，点击进入，可以看到页面：  
![在这里插入图片描述][20210309163411848.png]  
可以看到，这个面板的数据源就是Prometheus，且这个dashboard的ID为1860。我们将这个ID填入Grafana的import的输入框中。  
![在这里插入图片描述][20210309163421808.png]  
![在这里插入图片描述][2021030916342985.png]  
数据源选择Prometheus。可以看到可视化页面：  
![在这里插入图片描述][20210309163439226.png]  
该界面展示的就是我的服务器的指标监控数据了。

### 4.1.2 MySQL指标监控 ###

收集MySQL的指标数据进行可视化的流程与上述的服务器指标监控类似，这里就简单描述一下。  
首先，还是要先下载并运行MySQL的Exporter。

wget https://github.com/prometheus/mysqld_exporter/releases/download/v0.12.1/mysqld_exporter-0.12.1.linux-amd64.tar.gz
    
    tar xvfz mysqld_exporter-0.12.1.linux-amd64.tar.gz
    
    cd mysqld_exporter-0.12.1.linux-amd64

与服务器指标数据监控的不同之处在于，MySQL指标监控的Exporter在运行之前必须要配置一下服务器连接MySQL的方式。这里，我们通过配置环境变量`DATA_SOURCE_NAME`的方式进行MySQL连接。格式如下：  
`export DATA_SOURCE_NAME='root:rootmysql@(localhost:3306)/'`  
配置完环境变量后，即可启动MySQL的Exporter：  
![在这里插入图片描述][20210309163454612.png]  
然后，我们像Node\_Exporter一样，在Prometheus的配置文件中配置一下MySQL的Exporter的IP以及端口：  
![在这里插入图片描述][20210309163502241.png]  
更新Prometheus配置后，我们可以在Prometheus的Dashboard官网中找一个MySQL的面板导入，可以看到最终的可视化界面如下：  
![在这里插入图片描述][2021030916351080.png]

## 4.2 使用go-kit实现自己的Exporter服务 ##

### 4.2.1 定义指标和标签 ###

假设我们现在做了一个服务，该服务会接收外部的请求，我们需要知道一段时间内某个客户端（client\_id）请求某个接口的次数。这是一个非常常见的统计需求。  
go-kit的包为：`"github.com/go-kit/kit/metrics/prometheus"`，这里我们重命名为kitprometheus  
primetheus的go工具包为：`"github.com/prometheus/client_golang/prometheus"`，这里我们重命名为stdprometheus  
我们使用go-kit创建一个指标和标签的代码如下：

appidGetFieldKeys := []string{ "method", "client_id"}
        appidGetRequestCount := kitprometheus.NewCounterFrom(stdprometheus.CounterOpts{ 
            Namespace: "namespace_name",
            Subsystem: "subsystem_name",
            Name:      "metrics_name",
            Help:      "Number of client_id get received.",
        },appidGetFieldKeys )

这样，我们就创建了一个指标为：namespace\_name\_subsystem\_name\_metrics\_name，标签为\[method, client\_id\]的数据。  
当然，Prometheus不仅提供了用于统计次数的Counter，还有一些其他的统计类型。详见[Prometheus官网文档][Prometheus]。

### 4.2.2 统计数据 ###

我们定义好了指标以及标签后，就可以进行数据统计了。  
比如，我们收到了一次client\_id为"123"的请求，那么，我们就应该在调用真正的处理函数之前先进行一次数据的统计。

func  MethodName(c *gin.Context) { 
        client_id := c.Query("client_id")
    
        defer func(begin time.Time) { 
            lvs = []string{ "method", "AccessToken", "client_id", client_id}
            appidGetRequestCount .With(lvs...).Add(1)
        }(time.Now())
    
        AccessToken(c)
    
        return
    }

这样，我们就做好了client\_id的一次接口请求统计，并且对应的方法为AccessToken。如果这次传入的client\_id参数为123，那么，我们就完成了一次方法为AccessToken，client\_id为123的一次请求统计。  
最后，我们通过某个服务端口的/metrics路径对Prometheus提供我们的指标数据，  
Prometheus访问/metrics路径即可获取到我们的统计数据了。

"github.com/prometheus/client_golang/prometheus/promhttp"
    
    r := gin.Default()
    r.GET("/metrics", gin.WrapH(promhttp.Handler()))

这里，我们也可以通过直接访问该路由查看所有的指标数据：  
![在这里插入图片描述][20210309163527887.png]  
Prometheus也提供了一套查询语言`PromQL`方便进行各个数据的查询。  
比如：  
我们将/metrics的端口添加到Prometheus的配置文件中后（前面描述过，这里不再赘述），在Grafana添加一个面板  
![在这里插入图片描述][20210309163538464.png]  
使用PromQL查询出我们希望看到的可视化界面  
![在这里插入图片描述][20210309163548516.png]  
实际上，前面所描述的官方Exporter所对应的可视化图表，就是各种PromQL查询的结果，只是官方做了一系列的封装罢了，所以看起来比较漂亮。我们也可以详细研究下Grafana面板的使用方法，从而用我们采集到的各种指标做出更多更直观的图表。

# 5 总结 #

本文先介绍了Prometheus以及Grafana的功能与使用方法。然后通过官方Exporter来介绍该如何用Prometheus实现一个最简单的监控界面。最后简单的介绍了如何通过编写业务代码的方式来定制自己服务的Exporter，从而实现用Prometheus和Grafana来做服务指标的监控可视化。本文是入门实践篇，以后会再总结一篇原理篇。

[Link 1]: https://prometheus.io/download/
[2021030916290379.png_x-oss-process_image]: /images/20221023/8355dbfeaeef4e4591b6619b53978e05.png
[2021030916294424.png]: /images/20221023/592caefae10246fe82540109daee564e.png
[20210309162958693.png]: /images/20221023/88558184a18e4477bf877dd49aec22a5.png
[20210309163009807.png_x-oss-process_image]: /images/20221023/f7ba5b5cb4824755b9d04b445b6f889b.png
[20210309163054310.png]: /images/20221023/a69da1c42e4841eb87a1cdcb2db5a08e.png
[20210309163106911.png]: /images/20221023/a7de433c51654d25a61b6048e9378a11.png
[20210309163122437.png]: /images/20221023/061d0e43da14475d90deaca8b1356076.png
[20210309163132374.png]: /images/20221023/96a2e62a0d8f40e28816b41bdec8ee93.png
[2021030916314471.png]: /images/20221023/ef72e706f8bc423990e1fe433ad2d586.png
[20210309163153102.png]: /images/20221023/17f9947c930f44cc93daa8f901e9a47f.png
[20210309163204890.png]: /images/20221023/b6b51fcafddc42c6ab8883d1a78568c8.png
[2021030916321461.png]: /images/20221023/406572dcab214b2896f708d32cfc1df1.png
[20210309163222432.png]: /images/20221023/3eab233a777c4b6490de480edfb3958b.png
[architecture.png]: /images/20221023/226862984ac040a98473fb42b9effe00.png
[2021030916324917.png]: /images/20221023/0e60d764427743fb94f025a4e6bf2ba9.png
[20210309163257382.png]: /images/20221023/a531abaa3ad343e59a326323c440d4a8.png
[2021030916330525.png]: /images/20221023/57346d608830477895761fc3f2abe129.png
[20210309163312385.png]: /images/20221023/48d87f6670c347d2ade189d93f1318a1.png
[20210309163320817.png]: /images/20221023/d73757e3db6c4e21b86a0347102c3ae9.png
[20210309163330220.png]: /images/20221023/549ca82cb50c41c593320b3f0e8112db.png
[20210309163338851.png]: /images/20221023/20b0e64f85244defa972179748d6487b.png
[20210309163346965.png]: /images/20221023/5f125e97548c458ab12637c8c1f63b13.png
[Grafana_dashboard]: https://grafana.com/grafana/dashboards
[20210309163357726.png]: /images/20221023/95f3a2f0126d4f84bb1a6ab5a6664300.png
[20210309163411848.png]: /images/20221023/16809f6e5423452ba65b4765b6d2ea57.png
[20210309163421808.png]: /images/20221023/b58b7806ba8348c69cb28f9444203060.png
[2021030916342985.png]: /images/20221023/965d8fdd4f114349825ee26eaf9d889d.png
[20210309163439226.png]: /images/20221023/5fe6a1c698754aab96c5c6aa6da0463a.png
[20210309163454612.png]: /images/20221023/61e0de6bb12a49e086cc08b5804f3e41.png
[20210309163502241.png]: /images/20221023/f093e61a1a5744e0bb224b1eb41d21da.png
[2021030916351080.png]: /images/20221023/5f9fb51f6ef54ae8b7cb64f789cf188a.png
[Prometheus]: https://prometheus.io/docs/concepts/metric_types/
[20210309163527887.png]: /images/20221023/a35db7ede4274072abb04c901c0182aa.png
[20210309163538464.png]: /images/20221023/bd471cc7b8f746b9b2ceba2a2b18aa03.png
[20210309163548516.png]: /images/20221023/7ab5236ea3ed43f1ae47e8af3d0bf7ac.png