Prometheus relabel重新打标

àì夳堔傛蜴生んèń 2023-10-13 22:28 113阅读 0赞

对target重新打标是在数据抓取之前动态重写target标签的强大工具，在每个数据抓取配置中，可以定义多个relabel步骤，它们将按照定义的顺序依次执行。

对于发现的每个target，Prometheus默认会执行如下操作：

1.  job的标签设定为其所属job\_name的值；
2.  \_\_address\_\_标签的值为该target的套接字地址“:”
3.  instance标签的值为\_\_address\_\_的值
4.  \_\_scheme\_\_标签的值为抓取该target上指标时使用的协议(http或https)
5.  \_\_metrics\_path\_\_标签的值为抓取该target指标时使用的URL路径，默认为/metrics
6.  \_\_param\_标签的值为传递的URL参数中第一个名称为的参数的值

需要注意：

重新标记期间，还可以使用该target上以"\_\_meta\_"开头的元标签，各服务发现机制为其target添加的源标签会有所不同。

重新标记完成后，该target上以"\_\_"开头的所有标签都会被移除，若在relabel的过程中需要临时存储标签值，则要使用\_\_tmp为前缀进行保存，以避免同Prometheus的内建标签冲突。

### relabel\_config[\#][Link 1] ###

relabel中几个重要的字段作用：

# source_labels从指定标签中匹配值。并将值串联
    # 使用配置的分隔符并与配置的正则表达式匹配
    # 用于替换、保留和丢弃操作。
    [ source_labels: '[' <labelname> [, ...] ']' ]
    
    # 串联源标签值之间的分隔符，默认;
    [ separator: <string> | default = ; ]
    
    # 在替换操作中将结果值写入的标签。
    # 对于替换操作，它是强制性的。Regex捕获组可用。
    [ target_label: <labelname> ]
    
    # 与提取值匹配的正则表达式。
    # 当actions等于replace, keep, drop, labelmap,labeldrop and labelkeep时使用
    [ regex: <regex> | default = (.*) ]
    
    # 获取源标签值的哈希值的模数。
    [ modulus: <int> ]
    
    # 如果正则表达式匹配，则对其执行正则表达式替换的替换值。
    [ replacement: <string> | default = $1 ]
    
    # 基于正则表达式匹配要执行的操作。
    [ action: <relabel_action> | default = replace ]

官网：[Configuration | Prometheus][Configuration _ Prometheus]

<relabel\_action>字段用于定义重新标记的行为，其可用取值有：

1. 替换标签值

*  replace：首先将source\_labels中指定的各标签的值进行串联，而后将regex字段中的正则表达式对源标签值进行匹配判定，若匹配，则将target\_label字段中指定的标签的值替换为replacement字段中保存的值

*   *  replacement可按需引用保存regex中的某个“分组模式”匹配到的值；默认保存整个regex匹配到的内容

*   *  进行值替换时，replacement字段中指定标签的值也支持以分组格式进行引用

*  hashmod：将target\_label的值设置为一个hash值，该hash则由modules字段指定的hash模块对source\_labels上各标签的串联值进行hash计算

2. 删除指标：该处的每个指标名称对应一个target

*  keep：regex不能匹配到target上的source\_labels上的各标签的串联值时，则删除该target
 *  drop：regex能够匹配到target上的source\_labels上的各标签的串联值时，则删除该target

3. 创建或删除标签

*  labelmap：将regex对所有的标签名进行匹配判定，而后将匹配到的标签的值赋给replacement字段指定的标签名之上，通常用于取出匹配的标签名的一部分生成新标签
 *  labeldrop：将regex对所有的标签名进行匹配判定，能够匹配到的标签将从target的标签集中删除
 *  labelkeep：将regex对所有的标签名进行匹配判定，不能够匹配到的标签将从target的标签集中删除

注意：要确保labeldrop或labelkeep操作后，余下的标签集依然能唯一标识该指标

#### relabel示例之replace[\#][Link 2] ####

以我们上节基于consul自动发现的target来做示例，下图是服务发现后自动打上的标签：

[编辑][Link 3]

我们这里做一个拼接，将\_\_scheme\_\_、\_\_address\_\_和\_\_metrics\_path\_\_的值拼接成一个值并重新赋予给endpoint这个标签，如下：

- job_name: 'nodes'
        consul_sd_configs:
        - server: "monitor.example.com:8500"
          tags:
          - "nodes"
          refresh_interval: 2m
        scrape_interval: 15s
        relabel_configs:
        - source_labels: 
          - __scheme__
          - __address__
          - __metrics_path__
          regex: (http|https)(.*)
          separator: ""
          target_label: endpoint
          replacement: ${1}://${2}
          action: replace

重新加载配置

curl -XPOST monitor.example.com:9090/-/reload

查看：

[编辑][Link 4]

如此配置之后，所有job\_name=nodes的target都会执行此relabel操作。

#### relabel示例之labelmap[\#][Link 5] ####

以我们上节基于consul自动发现的target来做示例，下图是服务发现后自动打上的标签，都以\_\_meta\_\_consul开头：

[编辑][Link 6]

我们这里做一个类似重命名的操作，将\_\_meta\_consul\_service开头的标签再次利用起来，将\_\_meta\_consul\_service\_这么一堆去掉，改为node\_xxx这种类型：

- regex: (__meta_consul_service_)(.*)
          replacement: node_${2}
          action: labelmap

重新加载配置

curl -XPOST monitor.example.com:9090/-/reload

查看：

[编辑][Link 7]

已经达到预期，这个时候可以通过node\_address等这些标签进行筛选target了。

#### relabel示例之labeldrop[\#][Link 8] ####

以上两种方式实现了标签的拼接及重命名操作，但是还有很多标签是我们不想要的，我们也可以通过labeldrop来将它们删除，例如上边所有job开头的指标名称全部删除：

- regex: ^job.*
          action: labeldrop

需要注意，relabel是按照配置顺序从上往下执行的，所以在删除操作之前如果有用到此类标签，一定要把drop的配置放在其后边

./promtool check config prometheus.yml
    curl -XPOST monitor.example.com:9090/-/reload

此时包含所有以job开头的标签均已被删除：

[编辑][Link 9]

#### relabel示例之keep[\#][Link 10] ####

以上都是对target的标签进行了一系列操作，keep和drop是针对target本身的操作，例如，我想仅仅保持node\_port标签值为9.+1的target，其他全部删除：

- source_labels: 
          - node_port
          regex: 9.+1
          action: keep

最终结果，node\_port=9100的target被筛选走了：

[编辑][Link 11]

#### 以上实现最终prometheus.yml配置文件[\#][Link 12] ####

scrape_configs:
      - job_name: 'nodes'
        consul_sd_configs:
        - server: "monitor.example.com:8500"
          tags:
          - "nodes"
          refresh_interval: 2m
        scrape_interval: 15s
        relabel_configs:
        - source_labels: 
          - __scheme__
          - __address__
          - __metrics_path__
          regex: (http|https)(.*)
          separator: ""
          target_label: endpoint
          replacement: ${1}://${2}
          action: replace
        - regex: (__meta_consul_service_)(.*)
          replacement: node_${2}
          action: labelmap
        - regex: job
          action: labeldrop
        - source_labels: 
          - node_port
          regex: 9.+1
          action: keep

### metric\_relabel\_config[\#][Link 13] ###

上边对target的标签进行relabel后，在获取指标的最后一步，还可以对metric进行重新打标，其作用在于：

1.  删除不必要的指标
2.  从指标中删除敏感或不需要的标签
3.  添加、编辑或者修改指标的标签值或者标签格式

对metric重新打标的配置格式与target重新打标的格式相同，但要定义到 metric\_relabel\_configs 字段中。

需要注意的是：

*  更改或添加标签会创建新的时间序列，所以要明确使用各标签，尽可能保持不变，避免创建出一个动态的数据环境
 *  标签是时间序列的唯一性约束，删除标签并导致时间序列重复时，可能会导致系统出现问题

#### metric relabel删除指标[\#][Link 14] ####

例如删除go\_info指标，通过\_\_name\_\_元标签引用指标名称，然后由regex进行匹配判定，可使用drop action删除匹配的指标。

注：\_\_name\_\_ 是一个特殊的标签名称，用于存储指标名称（也称为“指标类型”），例如go\_info它就是一个指标名称。

下边示例，用于在响应的job\_name之上，删除go\_info指标：

- job_name: 'nodes'
        consul_sd_configs:
        - server: "monitor.example.com:8500"
          tags:
          - "nodes"
          refresh_interval: 2m
        scrape_interval: 15s
        metric_relabel_configs:
        - source_labels: [__name__]
          regex: go_info
          action: drop

重新加载：

curl -XPOST monitor.example.com:9090/-/reload

删除前：

[编辑][Link 15]

删除后：

[编辑][Link 16]

至此，Prometheus relabel相关功能演示完毕。

### 写到最后[\#][Link 17] ###

到此博客，Prometheus本身相关的话题、知识点及应用方式基本上都汇总完毕，后续会更着重于与Prometheus息息相关的组件介绍，包括查询结果的持久化、grafana、pushgateway以及告警组件altermanager等服务，感兴趣的朋友可以欢迎关注。

[Link 1]: https://www.cnblogs.com/v-fan/p/17574762.html#XcuG-1690078678620
[Configuration _ Prometheus]: https://prometheus.io/docs/prometheus/latest/configuration/configuration/#relabel_config
[Link 2]: https://www.cnblogs.com/v-fan/p/17574762.html#JahG-1690078678708
[Link 3]: https://img2023.cnblogs.com/blog/1715041/202307/1715041-20230723103106921-2021664719.png
[Link 4]: https://img2023.cnblogs.com/blog/1715041/202307/1715041-20230723103139910-1154557558.png
[Link 5]: https://www.cnblogs.com/v-fan/p/17574762.html#msf9-1690078678760
[Link 6]: https://img2023.cnblogs.com/blog/1715041/202307/1715041-20230723103205322-1720683964.png
[Link 7]: https://img2023.cnblogs.com/blog/1715041/202307/1715041-20230723103247661-1270066146.png
[Link 8]: https://www.cnblogs.com/v-fan/p/17574762.html#Wiin-1690078678785
[Link 9]: https://img2023.cnblogs.com/blog/1715041/202307/1715041-20230723103344231-1492842063.png
[Link 10]: https://www.cnblogs.com/v-fan/p/17574762.html#iszy-1690078678805
[Link 11]: https://img2023.cnblogs.com/blog/1715041/202307/1715041-20230723103416590-944574967.png
[Link 12]: https://www.cnblogs.com/v-fan/p/17574762.html#Ii6H-1690078678821
[Link 13]: https://www.cnblogs.com/v-fan/p/17574762.html#ZApu-1690078678878
[Link 14]: https://www.cnblogs.com/v-fan/p/17574762.html#QNoL-1690078678896
[Link 15]: https://img2023.cnblogs.com/blog/1715041/202307/1715041-20230723103601163-1868033417.png
[Link 16]: https://img2023.cnblogs.com/blog/1715041/202307/1715041-20230723103608771-208299478.png
[Link 17]: https://www.cnblogs.com/v-fan/p/17574762.html#ByK1-1690078678942