[kubernetes]-使用DaemonSet部署node_exporter监控systemd服务

末蓝、 2022-11-13 04:20 217阅读 0赞

导语：想要监控pods及k8s-node的情况

因为日志是挂载在node节点上的，需要上传到第三方。就没有用filebeat做sidecar收集了。就做了一个filebeat的systemd服务 担心各个systemd服务有问题，因此需要node\_porter加入对systemd的监控。

cAdvisor已经内置在了 kubelet 组件之中，所以我们不需要单独去安装它来监控容器。在prometheus添加targets就可以了

- job_name: 'kubernetes-cadvisor'
          scheme: https
          tls_config:
            ca_file: /var/run/secrets/kubernetes.io/serviceaccount/ca.crt
          bearer_token_file: /var/run/secrets/kubernetes.io/serviceaccount/token
          kubernetes_sd_configs:
          - role: node
          relabel_configs:
          - target_label: __address__
            replacement: kubernetes.default.svc:443
          - source_labels: [__meta_kubernetes_node_name]
            regex: (.+)
            replacement: /api/v1/nodes/${1}/proxy/metrics/cadvisor
            target_label: __metrics_path__
          - action: labelmap
            regex: __meta_kubernetes_node_label_(.+)
          - source_labels: [__meta_kubernetes_node_name]
            action: replace
            target_label: node
          - source_labels: [__meta_kubernetes_node_label_node]
            action: replace
            target_label: node_name

##### 创建node\_exporter\_dm.yaml #####

apiVersion: apps/v1
    kind: DaemonSet
    metadata:
      name: node-exporter
      namespace: kube-ops
      labels:
        k8s-app: node-exporter
    spec:
      selector:
        matchLabels:
          k8s-app: node-exporter
      template:
        metadata:
          labels:
            k8s-app: node-exporter
        spec:
          hostPID: true
          hostIPC: true
          hostNetwork: true
          containers:
          - image: prom/node-exporter:v1.0.1
            name: node-exporter
            args:
            - "--collector.systemd"
            - "--collector.systemd.unit-whitelist=(docker|sshd|nginx).service"
            #- "--collector.vmstat.fields=^(oom_kill|pgpg|pswp|nr|pg.*fault).*" # 需要centos8等高内核版本才支持
            ports:
            - containerPort: 9100
              protocol: TCP
              name: http
            resources:
              requests:
                cpu: 100m
                memory: 100Mi
              limits:
                cpu: 1000m
                memory: 1Gi
            securityContext:
              runAsUser: 0
              privileged: true
            volumeMounts:
            - mountPath: /run/systemd/private
              name: systemd-socket
              readOnly: true
            - name: dev
              mountPath: /host/dev
            - name: proc
              mountPath: /host/proc
            - name: sys
              mountPath: /host/sys
            - name: rootfs
              mountPath: /host/root
          tolerations:
          - key: "node-role.kubernetes.io/master"
            operator: "Exists"
            effect: "NoSchedule"
          volumes:
            - name: systemd-socket
              hostPath:
                path: /run/systemd/private
            - name: proc
              hostPath:
                path: /proc
            - name: dev
              hostPath:
                path: /dev
            - name: sys
              hostPath:
                path: /sys
            - name: rootfs
              hostPath:
                path: /

由于我们要获取到的数据是主机的监控指标数据，而我们的 node-exporter 是运行在容器中的，所以我们在 Pod 中需要配置一些 Pod 的安全策略，这里我们就添加了hostPID: true、hostIPC: true、hostNetwork: true3个策略，用来使用主机的 PID namespace、IPC namespace 以及主机网络，这些 namespace 就是用于容器隔离的关键技术，要注意这里的 namespace 和集群中的 namespace 是两个完全不相同的概念。

另外我们还将主机的/dev、/proc、/sys这些目录挂载到容器中，这些因为我们采集的很多节点数据都是通过这些文件夹下面的文件来获取到的，比如我们在使用top命令可以查看当前cpu使用情况，数据就来源于文件/proc/stat，使用free命令可以查看当前内存使用情况，其数据来源是来自/proc/meminfo文件。

##### 创建node-exporter-svc.yaml #####

---
    apiVersion: v1
    kind: Service
    metadata:
      labels:
        k8s-app: node-exporter
      name: node-exporter
      namespace: kube-ops
    spec:
      ports:
      - name: http
        port: 9100
        nodePort: 31672
        protocol: TCP
      type: NodePort
      selector:
        k8s-app: node-exporter

如有需要可以创建node-exporter-headless-svc.yaml

apiVersion: v1
    kind: Service
    metadata:
      name: node-exporter-headless
      namespace: kube-ops
      labels:
        k8s-app: node-exporter
    spec:
      ports:
      - port: 80
        name: http
      # clusterIP 设置为 None
      clusterIP: None
      selector:
        k8s-app: node-exporter

##### 修改prometheus的cm #####

apiVersion: v1
    kind: ConfigMap
    metadata:
      name: prometheus-config
      namespace: kube-ops
    data:
      prometheus.yml: | global: scrape_interval: 15s scrape_timeout: 15s alerting: alertmanagers: - static_configs: - targets: - alertmanager.ihaozhuo.com # 这里修改为 alertmanagers 的地址 rule_files: - "/prometheus/conf/rule*.yml" scrape_configs: - job_name: 'prometheus' static_configs: - targets: ['localhost:9090'] - job_name: 'docker2' static_configs: - targets: ['192.168.10.98:8080', '192.168.10.98:9100'] ## 目标主机 - job_name: 'kubernetes-nodes-exporters1' kubernetes_sd_configs: - role: node relabel_configs: - source_labels: [__address__] regex: '(.*):10250' replacement: '${1}:9100' target_label: __address__ action: replace

启动node\_exporter

kubectl apply -f ./

重启prometheus后查看targets 是否正常获取到node\_exporter暴露的端口

![3bdd0ba3ac21c5533eef897a68ca6570.png][]

如果需要可以添加livenessProbe和readinessProbe,格式大致如下

livenessProbe:
              httpGet:
                path: /metrics
                port: 9100
              initialDelaySeconds: 30
              timeoutSeconds: 10
              periodSeconds: 1
            readinessProbe:
              failureThreshold: 5
              httpGet:
                path: /metrics
                port: 9100
              initialDelaySeconds: 10
              timeoutSeconds: 10
              periodSeconds: 2

##### 遇到的问题 #####

采集不到9100的数据 附上一个对比图

- job_name: 'kubernetes-nodes-exporters0'
          kubernetes_sd_configs:
          - role: node
    
        - job_name: 'kubernetes-nodes-exporters1'
          kubernetes_sd_configs:
          - role: node
          relabel_configs:
          - source_labels: [__address__]
            regex: '(.*):10250'
            replacement: '${1}:9100'
            target_label: __address__
            action: replace

![0e47a62c719e75df582206988960b8e6.png][]

这里prometheus的资源限制需要调整一下 如果刮取的资源多的话 可能会出现OOMKilled

![c210d0f08ed031755ff07b460e7dc008.png][]

一开始没有加这个参数 导致一直获取不到systemd的服务

volumeMounts:
            - mountPath: /run/systemd/private
              name: systemd-socket
              readOnly: true
          volumes:
            - name: systemd-socket
              hostPath:
                path: /run/systemd/private

进入pod查看 明明参数生效了 但是获取不到具体服务

![ce1c69f25b9631928cd1818a98a742fb.png][]

直接看metrics的确没有相关信息

![a96c59bfd9f3257b39b44121616b75bb.png][]

加上/run/systemd/private 之后再尝试请求 可以获取到数据了

![4a3e4f42caef0a47b4f472881a05e5ce.png][]

![b9f4afd715e7117aee9db9a6114f3095.png][]

添加了一个 action 为labelmap，正则表达式是`__meta_kubernetes_node_label_(.+)`的配置，这里的意思就是表达式中匹配都的数据也添加到指标数据的 Label 标签中去。

kubernetes\_sd\_configs 下面可用的标签如下： 可用元标签：

__meta_kubernetes_node_name：节点对象的名称
    _meta_kubernetes_node_label：节点对象中的每个标签
    _meta_kubernetes_node_annotation：来自节点对象的每个注释
    _meta_kubernetes_node_address：每个节点地址类型的第一个地址（如果存在）

![a8247ceab90059ad34b18631258573cc.png][]

[3bdd0ba3ac21c5533eef897a68ca6570.png]: /images/20221022/8ee96a6796bf4fd3ad9171c4b9d732be.png
[0e47a62c719e75df582206988960b8e6.png]: /images/20221022/3d43a8e102eb4d77a5e1197b7ce678fc.png
[c210d0f08ed031755ff07b460e7dc008.png]: /images/20221022/d8118f3701d44862b4c2ea3e7568a056.png
[ce1c69f25b9631928cd1818a98a742fb.png]: /images/20221022/462d34e2e65a4c05874569739786b705.png
[a96c59bfd9f3257b39b44121616b75bb.png]: /images/20221022/05be12cf898f4b9eb2f145a8fb02f677.png
[4a3e4f42caef0a47b4f472881a05e5ce.png]: /images/20221022/f99667107a8c4851b49005e7f4d0e4bd.png
[b9f4afd715e7117aee9db9a6114f3095.png]: /images/20221022/a753520d3b5b4f90a991225dc755aeab.png
[a8247ceab90059ad34b18631258573cc.png]: /images/20221022/e2049ca4b7c445d3be039c385e7b341f.png