监控神器-Prometheus(原理和实践)

╰+哭是因爲堅強的太久メ 2023-06-20 12:59 2阅读 0赞

# 特点 #

**Prometheus 具有以下特点：**

*  **强大的多维度数据模型：**

1.  1.  **时间序列数据通过 metric 名和键值对来区分。**
    2.  **所有的 metrics 都可以设置任意的多维标签。**
    3.  **数据模型更随意，不需要刻意设置为以点分隔的字符串。**
    4.  **可以对数据模型进行聚合，切割和切片操作。**
    5.  **支持双精度浮点类型，标签可以设为全 unicode。**

*  **灵活而强大的查询语句（PromQL）：在同一个查询语句，可以对多个 metrics 进行乘法、加法、连接、取分数位等操作。**
 *  **易于管理： Prometheus server 是一个单独的二进制文件，可直接在本地工作，不依赖于分布式存储。**
 *  **高效：平均每个采样点仅占 3.5 bytes，且一个 Prometheus server 可以处理数百万的 metrics。**
 *  **使用 pull 模式采集时间序列数据，这样不仅有利于本机测试而且可以避免有问题的服务器推送坏的 metrics。**
 *  **可以采用 push gateway 的方式把时间序列数据推送至 Prometheus server 端。**
 *  **可以通过服务发现或者静态配置去获取监控的 targets。**
 *  **有多种可视化图形界面。**
 *  **易****于伸缩。**

**由于数据采集可能会有丢失，所以 Prometheus 不适用对采集数据要 100% 准确的情形。****但如果用于记录时间序列数据，Prometheus 具有很大的查询优势，此外，Prometheus 适用于微服务的体系架构。**

# Prometheus 组成及架构 #

**Prometheus 生态圈中包含了多个组件，其中很多组件是可选的：**

*  **Prometheus Server**: 用于收集和存储时间序列数据。
 *  **Client Library**: 客户端库，为需要监控的服务生成相应的 metrics 并暴露给 Prometheus server。当 Prometheus server 来 pull 时，直接返回实时状态的 metrics。
 *  **Push Gateway**: 主要用于短期的 jobs。由于这类 jobs 存在时间较短，可能在 Prometheus 来 pull 之前就消失了。为此，这次 jobs 可以直接向 Prometheus server 端推送它们的 metrics。这种方式主要用于服务层面的 metrics，对于机器层面的 metrices，需要使用 node exporter。
 *  **Exporters:** 用于暴露已有的第三方服务的 metrics 给 Prometheus。
 *  **Alertmanager:** 从 Prometheus server 端接收到 alerts 后，会进行去除重复数据，分组，并路由到对收的接受方式，发出报警。常见的接收方式有：电子邮件，pagerduty，OpsGenie, webhook 等。
 *  各种支持工具。

## 架构图 ##

![image.png][]

**从上图可以看出，Prometheus 的主要模块包括：Prometheus server, exporters, Pushgateway, PromQL, Alertmanager 以及图形界面。**

## 工作流程 ##

**大概的工作流程如下：**

1.  **Prometheus server 定期从配置好的 jobs 或者 exporters 中拉 metrics，或者接收来自 Pushgateway 发过来的 metrics，或者从其他的 Prometheus server 中拉 metrics。**
2.  **Prometheus server 在本地存储收集到的 metrics，并运行已定义好的 alert.rules，记录新的时间序列或者向 Alertmanager 推送警报。**
3.  **Alertmanager 根据配置文件，对接收到的警报进行处理，发出告警。**
4.  **在图形界面中，可视化采集数据。**

# Prometheus相关概念 #

## 数据模型 ##

**Prometheus 中存储的数据为时间序列，是由 metric 的名字和一系列的标签（键值对）组成唯一标识，不同的标签则代表不同的时间序列。**

*  **metric 名字：该名字应该具有语义，一般用于表示 metric 的功能，例如：http\_requests\_total, 表示 http 请求的总数。其中，metric 名字由 ASCII 字符，数字，下划线，以及冒号组成，且必须满足正则表达式 \[a-zA-Z\_:\]\[a-zA-Z0-9\_:\]\*。**
 *  **标签：使同一个时间序列有了不同维度的识别。例如 http\_requests\_total\{method=“Get”\} 表示所有 http 请求中的 Get 请求。当 method=“post” 时，则为新的一个 metric。标签中的键由 ASCII 字符，数字，以及下划线组成，且必须满足正则表达式 \[a-zA-Z\_:\]\[a-zA-Z0-9\_:\]\*。**
 *  **样本：实际的时间序列，每个序列包括一个 float64 的值和一个毫秒级的时间戳。**
 *  **格式：\{=, …\}，例如：http\_requests\_total\{method=“POST”,endpoint="/api/tracks"\}。**

## Metric类型 ##

**Prometheus 客户端库主要提供四种主要的 metric 类型：**

**Counter**

*  一种累加的 metric，典型的应用如：请求的个数，结束的任务数， 出现的错误数等等。

**例如，查询 http\_requests\_total\{method=“get”, job=“Prometheus”, handler=“query”\} 返回 8，10 秒后，再次查询，则返回 14。**

**Gauge**

*  一种常规的 metric，典型的应用如：温度，运行的 goroutines 的个数。
 *  可以任意加减。

**例如：go\_goroutines\{instance=“172.17.0.2”, job=“Prometheus”\} 返回值 147，10 秒后返回 124。**

**Histogram**

*  可以理解为柱状图，典型的应用如：请求持续时间，响应大小。
 *  可以对观察结果采样，分组及统计。

**例如：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTk4MDEx_size_16_color_FFFFFF_t_70][]

**Summary**

*  类似于 Histogram, 典型的应用如：请求持续时间，响应大小。
 *  提供观测值的 count 和 sum 功能。
 *  提供百分位的功能，即可以按百分比划分跟踪结果。

## JOBS AND INSTANCES ##

**用Prometheus术语来说，可以抓取的端点称为*****instance*****，通常对应于单个进程。具有相同目的的****instances ****的集合（例如，出于可伸缩性或可靠性而复制的过程）称为job。**

**例如，一个具有四个复制实例的API服务器作业:**

*  job: `api-server`

*   *  instance 1: `1.2.3.4:5670`
     *  instance 2: `1.2.3.4:5671`
     *  instance 3: `5.6.7.8:5670`
     *  instance 4: `5.6.7.8:5671`

**instance:**** 一个单独 scrape 的目标， 一般对应于一个进程。**<host>:<port>

**jobs:**** 一组同种类型的 instances（主要用于保证可扩展性和可靠性）**

# Node exporter #

**Node exporter 主要用于暴露 metrics 给 Prometheus，其中 metrics 包括：cpu 的负载，内存的使用情况，网络等。**

# Pushgateway #

**Pushgateway 是 Prometheus 生态中一个重要工具，使用它的原因主要是：**

*  **Prometheus 采用 pull 模式，可能由于不在一个子网或者防火墙原因，导致Prometheus 无法直接拉取各个 target数据。**
 *  **在监控业务数据的时候，需要将不同数据汇总, 由 Prometheus 统一收集。**

**由于以上原因，不得不使用 pushgateway，但在使用之前，有必要了解一下它的一些弊端：**

*  **将多个节点数据汇总到 pushgateway, 如果 pushgateway 挂了，受影响比多个 target 大。**
 *  **Prometheus 拉取状态 up 只针对 pushgateway, 无法做到对每个节点有效。**
 *  **Pushgateway 可以持久化推送给它的所有监控数据。****因此，即使你的监控已经下线，prometheus 还会拉取到旧的监控数据，需要手动清理 pushgateway 不要的数据。**

**为了防止 pushgateway 重启或意外挂掉，导致数据丢失，我们可以通过 -persistence.file 和 -persistence.interval 参数将数据持久化下来。**

# **安装实践** #

**Prometheus(服务端搭建):**[https://blog.csdn.net/qq\_37598011/article/details/101105086][https_blog.csdn.net_qq_37598011_article_details_101105086]

**Pushgateway/Alertmanager/export:待续**

# 文档 #

[https://prometheus.io/docs/introduction/overview/][https_prometheus.io_docs_introduction_overview]

[image.png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9jZG4ubmxhcmsuY29tL3l1cXVlLzAvMjAxOS9wbmcvNDM2OTkzLzE1NzU5NTcxNDYyMTgtY2QzMjBlNWEtYzAzMS00OWE2LWIwNmItY2QxNjgwNDhlN2VkLnBuZw?x-oss-process=image/format,png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTk4MDEx_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191210153215975.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3NTk4MDEx,size_16,color_FFFFFF,t_70
[https_blog.csdn.net_qq_37598011_article_details_101105086]: https://blog.csdn.net/qq_37598011/article/details/101105086
[https_prometheus.io_docs_introduction_overview]: https://prometheus.io/docs/introduction/overview/