《Kubernetes监控篇：Kubernetes集群之微服务JVM内存监控》

朴灿烈づ我的快乐病毒、 2022-08-29 12:49 664阅读 0赞

### 文章目录 ###

*  一、背景信息
 *  二、监控方案
 *  三、部署架构
 *  四、部署操作
 *   *  4.1、资源下载
     *  4.2、修改Dockerfile
     *  4.3、修改yaml文件
     *  4.4、部署prometheus
     *   *  4.4.1、配置yaml文件
         *  4.4.2、配置文件详解
         *  4.4.3、部署prometheus服务
         *  4.4.3、检查prometheus服务
     *  4.5、部署alertmanager服务
     *  4.6、grafana部署配置
     *   *  4.6.1、grafana模板下载
         *  4.6.2、grafana导入数据源
         *  4.6.3、grafana模板导入
     *  4.7、grafana效果展示
     *  4.8、钉钉告警信息展示
 *  总结：整理不易，如果对你有帮助，可否点赞关注一下？

--------------------

# 一、背景信息 #

**复杂和高并发下的服务，必须保证每次gc不会出现性能下降，各种性能指标不会出现波动，gc回收规律而且干净，所以必须找到合适的jvm设置。而要找到合适的jvm设置，必须要了解当前java服务的jvm使用情况。所以我觉得非常有必要对java服务的jvm使用情况实时监控。**

**业务系统涉及到的java服务分为：tomcat类型、jar包类型、k8s微服务类型。**

--------------------

# 二、监控方案 #

**方案一：业务系统java服务采用的是SpringBoot框架，SpringBoot自带监控功能Actuator，可以帮助实现对程序内部运行情况监控，比如监控状况、Bean加载情况、环境变量、日志信息、线程信息、健康检查、审计、统计和HTTP追踪等。Actuator同时还可以与外部应用监控系统整合，比如Prometheus，可以选择使用HTTP端点或JMX来管理和监视应用程序。**

**方案二：通过JMX Exporter来暴露 Java 应用的JVM监控指标，JMX Exporter有两种用法。**

# 方法一：启动独立进程
    JVM启动时指定参数，暴露JMX的RMI接口，JMX-Exporter调用RMI获取JVM运行时状态数据，
    转换为Prometheus metrics格式，并暴露端口让Prometheus采集。
    
    # 方法二：JVM进程内启动(in-process)
    JVM启动时指定参数，通过javaagent 的形式运行JMX-Exporter 的jar包，
    进程内读取JVM运行时状态数据，转换为Prometheus metrics格式，并暴露端口让Prometheus采集。

**说明：官方不推荐使用第一种方式，一方面配置复杂，另一方面因为它需要一个单独的进程，而这个进程本身的监控又成了新的问题，所以本文重点围绕第二种用法讲如何在K8S 环境下使用JMX Exporter暴露JVM监控指标。**

--------------------

# 三、部署架构 #

**1、监控系统架构图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70]  
**2、监控系统说明**  
**由于kubernetes集群中有多个业务系统，分别部署在不同的namespace空间，针对不同的监控类型数据，如主机资源监控数据、容器监控数据、应用程序监控数据，分别采用不同的prometheus来采集数据。**

--------------------

# 四、部署操作 #

## 4.1、资源下载 ##

**[jmx\_prometheus\_javaagent-0.16.1.jar和prometheus-jmx-config.yaml][jmx_prometheus_javaagent-0.16.1.jar_prometheus-jmx-config.yaml]**  
![在这里插入图片描述][20210719133753612.png]

--------------------

## 4.2、修改Dockerfile ##

# 修改前
    FROM java:8u111-jdk
    RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
        echo 'Asia/Shanghai' >/etc/timezone
    ADD mpmt-cp-adapter.jar adapter.jar
    EXPOSE 8083
    ENTRYPOINT ["java","-Xmx2048m","-Xms512m","-XX:MaxMetaspaceSize=512m","-XX:MetaspaceSize=256m","-Djava.security.egd=file:/dev/./urandom","-jar","/adapter.jar","--spring.profiles.active=test"]
    
    # 修改后
    FROM java:8u111-jdk
    RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \
        echo 'Asia/Shanghai' >/etc/timezone
    ADD mpmt-cp-adapter.jar adapter.jar
    ADD prometheus-jmx-config.yaml /prometheus-jmx-config.yaml
    ADD jmx_prometheus_javaagent-0.16.1.jar /jmx_prometheus_javaagent-0.16.1.jar
    EXPOSE 8083
    EXPOSE 7070
    ENTRYPOINT ["java","-javaagent:/jmx_prometheus_javaagent-0.16.1.jar=7070:prometheus-jmx-config.yaml","-Xmx2048m","-Xms512m","-XX:MaxMetaspaceSize=512m","-XX:MetaspaceSize=256m","-Djava.security.egd=file:/dev/./urandom","-jar","/adapter.jar","--spring.profiles.active=test"]

--------------------

## 4.3、修改yaml文件 ##

# 修改前
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: mpmt-adapter-svc
      labels:
        app: mpmt-adapter
    spec:
      type: NodePort
      ports:
      - port: 8083
        targetPort: 8083
        protocol: TCP
        nodePort: 31087
      selector:
        app: mpmt-adapter
    ---
    apiVersion: apps/v1
    kind: StatefulSet
    metadata:
      name: mpmt-adapter
    
    spec:
      serviceName: "mpmt-adapter"
      podManagementPolicy: Parallel    
      replicas: 1
      updateStrategy:
        type: RollingUpdate
      selector:
        matchLabels:
          app: mpmt-adapter
      template:
        metadata:
          labels:
            app: mpmt-adapter
        spec:
          containers:
          - name: mpmt-adapter
            image: server.harbor.com:8888/library/mpmt-adapter:202107191029
            imagePullPolicy: IfNotPresent
            ports:
            - containerPort: 8083
            resources:
              requests:
                cpu: "500m"
                memory: "4Gi"
              limits:
                cpu: "1000m"
                memory: "6Gi"
    
    # 修改后
    ---
    apiVersion: v1
    kind: Service
    metadata:
      name: mpmt-adapter-svc
      labels:
        app: mpmt-adapter 
        system: pasz #增加内容
        owner: sdjw #增加内容
        env: test #增加内容
    spec:
      type: NodePort
      ports:
      - port: 8083
        targetPort: 8083
        protocol: TCP
        nodePort: 31087
      selector:
        app: mpmt-adapter
        system: pasz #增加内容
        owner: sdjw #增加内容
        env: test #增加内容
    ---
    apiVersion: apps/v1
    kind: StatefulSet
    metadata:
      name: mpmt-adapter
    spec:
      serviceName: "mpmt-adapter"
      podManagementPolicy: Parallel
      updateStrategy:
        type: RollingUpdate
      selector:
        matchLabels:
          app: mpmt-adapter
          system: pasz #增加内容
          owner: sdjw #增加内容
          env: test #增加内容
      template:
        metadata:
          labels:
            app: mpmt-adapter
            system: pasz #增加内容
            owner: sdjw #增加内容
            env: test  #增加内容 
        spec:
          containers:
          - name: mpmt-adapter
            image: server.harbor.com:8888/library/mpmt-adapter:202107191029
            imagePullPolicy: IfNotPresent
            ports:
              - containerPort: 8083
                name: jdk #增加内容
              - containerPort: 7070
                name: jvm #增加内容
            resources:
              requests:
                cpu: "500m"
                memory: "4Gi"
              limits:
                cpu: "1000m"
                memory: "6Gi"

**问题一：为什么需要添加lables标签？**  
**1、在不同的namespace空间下，部署着不同的业务系统，同时将不同业务系统的监控数据通过grafana展示，那如果对服务进行细化区分会不会更好呢？比如说同样的monitor服务，不同namespace空间下都有，如果加上多种标签，系统名称、系统属主、系统环境等等，这样在告警时，是不是就能更好的知道当前什么系统、是哪家客户的，是生产环境还是测试环境以及什么服务出现了问题呢，这样就可以快速响应并处理问题。**

**效果如下图所示：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 1]  
**2、添加lables标签还有一个目的就是实现告警分组，试想一下如果k8s集群中有多种业务系统，如A、B系统，A系统的告警信息发送到A系统告警钉钉群，B系统的告警信息发送到B系统告警钉钉群,这样A系统告警钉钉群成员就可以收到负责业务的告警信息，B系统告警钉钉群就不会收到。在企业中，告警分组也是常见的需求。**

**以下是alertmanager的配置文件，效果如下图所示：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 2]  
**问题二：为什么需要对容器端口增加name标签？**  
**2、对pod中多个容器端口进行name设置，如果上面jdk和name，jdk表示微服务容器业务端口名称，jvm是jvm进程监控端口名称，这里所有业务系统中所有的服务的jvm进程监控端口都未7070，并且name值均为jvm。设置不同的name名称是为了在prometheus.yaml文件中精准匹配jvm进程端口。**

--------------------

## 4.4、部署prometheus ##

### 4.4.1、配置yaml文件 ###

# 在master节点
    mkdir -p /data/pkgs/jvm_exporter
    vim prometheus.yaml
    CSDN下载地址：https://download.csdn.net/download/m0_37814112/20480830

--------------------

### 4.4.2、配置文件详解 ###

**问题一：如何重写变量名称？**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 3]  
**说明：\_\_meta\_kubernetes\_pod\_host\_ip、\_\_meta\_kubernetes\_pod\_container\_port\_name、\_\_meta\_kubernetes\_namespace、\_\_meta\_kubernetes\_pod\_name、\_\_meta\_kubernetes\_pod\_node\_name、\_\_meta\_kubernetes\_pod\_phase、\_\_meta\_kubernetes\_pod\_ready、\_\_meta\_kubernetes\_pod\_label\_system、\_\_meta\_kubernetes\_pod\_label\_owner、\_\_meta\_kubernetes\_pod\_label\_env等这些变量是kubernetes自带的原生标签名称。通过action: replace，可替换\_\_meta\_kubernetes\_namespace变成kubernetes\_namespace，其它依次类推。**

**原生标签,如下图所示：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 4]  
**重新替换标签后,效果如下图所示：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 5]  
**问题二：如何新增标签？**  
**说明：\_\_meta\_kubernetes\_pod\_label\_app、\_\_meta\_kubernetes\_pod\_label\_system、\_\_meta\_kubernetes\_pod\_label\_owner、\_\_meta\_kubernetes\_pod\_label\_env等这些标签不是kubernetes自带的原生标签，而是在微服务yaml文件里定义的，通过kubernetes转换成的。**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 6]

--------------------

### 4.4.3、部署prometheus服务 ###

# 1、根据yaml文件定义的prometheus服务部署在k8s-worker-112节点上，在该节点上创建数据存储目录
    [root@k8s-worker-112 ~]# mkdir -pv /data/basic-data/prometheus
    
    # 2、在k8s-master-111节点上执行
    # 把default账号通过clusterrolebing绑定到clusterrole上
    kubectl create clusterrolebinding nfs-clusterrolebinding -n default --clusterrole=cluster-admin  --user=system:serviceaccount:default:default
    # 注意：nfs-clusterrolebinding可自定义设置
    
    # 3、在k8s-master-111节点上执行
    [root@k8s-master-111 ~]# cd /data/pkgs/jvm_exporter
    [root@k8s-master-111 ~]# kubectl create -f prometheus.yaml
    
    # 4、查看pod状态（如下图所示）
    [root@k8s-master-111 ~]# kubectl get pods
    NAME                                 READY   STATUS    RESTARTS   AGE
    prometheus-server-54dd9f5568-wc44l   1/1     Running   0          8

### 4.4.3、检查prometheus服务 ###

**1、检查rules规则是否生效，如下图所示：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 7]  
**2、检查目标target是否为up，如下图所示：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 8]

--------------------

## 4.5、部署alertmanager服务 ##

**[《八、企业级监控系统之实现多节点Altermanager告警分组》][Altermanager]**

--------------------

## 4.6、grafana部署配置 ##

**说明：这里默认grafana是已经安装了的，如果需要安装请参考[《一、企业级监控之使用docker容器化部署grafana》][docker_grafana]**

### 4.6.1、grafana模板下载 ###

**[JVM监控模板][JVM]**

### 4.6.2、grafana导入数据源 ###

**说明：这里就不介绍了。**

### 4.6.3、grafana模板导入 ###

**说明：这里就不介绍了。**

## 4.7、grafana效果展示 ##

**效果如下图所示：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 9]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 10]

## 4.8、钉钉告警信息展示 ##

**效果如下图所示：**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 11]

--------------------

# 总结：整理不易，如果对你有帮助，可否点赞关注一下？ #

更多详细内容请参考：[企业级K8s集群运维实战][K8s]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70]: /images/20220829/ca7afdd74f5e4a9fa51d76a30a56e587.png
[jmx_prometheus_javaagent-0.16.1.jar_prometheus-jmx-config.yaml]: https://download.csdn.net/download/m0_37814112/20364119?spm=1001.2014.3001.5501
[20210719133753612.png]: /images/20220829/37b22188fc94497d879da818362a83c2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 1]: /images/20220829/9a71d6f9bdde44469f13b340f15ad25d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 2]: /images/20220829/ee3d3cca29114e9dbf76283d1f8dcba6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 3]: /images/20220829/54b85be1b0df40ffbad883a5285b1d88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 4]: /images/20220829/64b04ca484eb48799e12c891d106ab8b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 5]: /images/20220829/de9699ef31fe4c729fab1bb73b1f63e8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 6]: /images/20220829/80892157a26b4b5a8ce528af74ffa0a0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 7]: /images/20220829/7dabfe23b1404fd7a376e0c8f6407cf4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 8]: /images/20220829/28aed13fae314635ac96fdda70d4c4e8.png
[Altermanager]: https://blog.csdn.net/m0_37814112/article/details/114588574
[docker_grafana]: https://blog.csdn.net/m0_37814112/article/details/114629717
[JVM]: https://download.csdn.net/download/m0_37814112/20603777
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 9]: /images/20220829/9311dfd058904baaba06a3287f7174d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 10]: /images/20220829/d1eab959883c419db452e77370251f05.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3ODE0MTEy_size_16_color_FFFFFF_t_70 11]: /images/20220829/95f40dbf098a481c833ef8b3f1b8f400.png
[K8s]: https://blog.csdn.net/m0_37814112/category_10856504.html?spm=1001.2014.3001.5482