K8S体系监控-kube-state-metrics集群资源监控

绝地灬酷狼 2022-12-13 04:09 347阅读 0赞

> kube-state-metrics 指标数据

##### 1、kube-state-metrics说明 #####

kube-state-metrics关注于获取k8s各种资源的最新状态，如deployment或者daemonset，之所以没有把kube-state-metrics纳入到metric-server的能力中，是因为他们的关注点本质上是不一样的。metric-server仅仅是获取、格式化现有数据，写入特定的存储，实质上是一个监控系统。而kube-state-metrics是将k8s的运行状况在内存中做了个快照，并且获取新的指标，但他没有能力导出这些指标。

##### 2、Node节点数量监控 #####

PromQL语句：

kube_node_info{ instance="10.42.4.65:8080"}

说明：可以查询到K8S集群对应多少Node节点,可以和实际的节点数比较告警，也可以制作大屏

##### 3、集群节点状态错误 #####

PromQL语句：

kube_node_status_condition{ condition="Ready",status!="true"}==1

说明：监控集群节点状态是否错误，如何值是1就是有错误可以告警

##### 4、集群节状态是否准备好 #####

PromQL语句：

kube_node_status_condition{ condition="Ready",status="true"} == 0

说明：监控集群节点状态是否准备好，有点像kubectl get node获取的状态

##### 4.1、集群节点内存或磁盘资源是否短缺 #####

PromQL语句：

kube_node_status_condition{ condition=~"OutOfDisk|MemoryPressure|DiskPressure",status!="false"}==1

##### 5、集群中存在失败的PVC监控 #####

PromQL语句：

kube_persistentvolumeclaim_status_phase{ phase="Failed"}==1

##### 6、集群中存在启动失败的Pod监控 #####

PromQL语句：

kube_pod_status_phase{ phase=~"Failed|Unknown"}==1

##### 7、最近30分钟内有Pod容器重启监控 #####

PromQL语句：

changes(kube_pod_container_status_restarts_total[30m])

##### 8、节点CPU请求总核数(单位cores) #####

PromQL语句：

sum(kube_pod_container_resource_requests_cpu_cores{ })

说明：监控容器请求的CPU内核数

##### 9、节点CPU限制总核数 #####

PromQL语句：

sum(kube_pod_container_resource_limits_cpu_cores{ })

##### 10、节点CPU总量 #####

PromQL语句：

sum(kube_node_status_capacity_cpu_cores{ })

##### 11、节点内存请求值(bytes 1024/1024/1024后为GB) #####

PromQL语句：

sum(kube_pod_container_resource_requests_memory_bytes{ })/1024/1024/1024

##### 12、节点内存限制值 #####

PromQL语句：

sum(kube_pod_container_resource_limits_memory_bytes{ })

##### 13、节点内存总量 #####

PromQL语句：

sum(kube_node_status_capacity_memory_bytes{ }/1024/1024/1024)

##### 14、节点不可用监控 #####

PromQL语句：

sum(kube_node_spec_unschedulable{ node=~"$node"})

##### 15、Pod 的生命周期监控 #####

PromQL语句：

kube_pod_status_phase{ phase=~"Pending|Running"} == 1

说明：kube\_pod\_status\_phase可以统计Pod的数量，phase的值：Running（运行中）Pod 已经绑定到了某个节点，Pod 中所有的容器都已被创建。至少有一个容器仍在运行，或者正处于启动或重启状态。官网对Pod 的生命周期说明：  
https://kubernetes.io/zh/docs/concepts/workloads/pods/pod-lifecycle/  
PromQL语句：

sum(kube_pod_status_phase{ namespace=~".*", phase="Pending"}==1)

说明：监控悬决的Pods数量；Pod 已被 Kubernetes 系统接受，但有一个或者多个容器尚未创建亦未运行。此阶段包括等待 Pod 被调度的时间和通过网络下载镜像的时间  
PromQL语句：

sum(kube_pod_status_phase{ namespace=~".*", phase="Failed"}==1)

说明：监控成功终止的Pods数量；Pod 中的所有容器都已终止，并且至少有一个容器是因为失败终止。也就是说，容器以非 0 状态退出或者被系统终止  
PromQL语句：

sum(kube_pod_status_phase{ namespace=~".*", phase="Succeeded"}==1)

说明：监控成功终止的Pods数量;Pod 中的所有容器都已成功终止，并且不会再重启  
PromQL语句：

sum(kube_pod_status_phase{ namespace=~".*", phase="Unknown"}==1)

说明:监控未知的Pods数量;因为某些原因无法取得 Pod 的状态。这种情况通常是因为与 Pod 所在主机通信失败

##### 16、监控K8S已运行的容器 #####

PromQL语句：

kube_pod_container_status_running{ namespace=~".*"}==1

说明：监控正在运行容器数量；可以绘制K8S集群的容器数量

##### 17、监控K8S等待创建的容器 #####

PromQL语句：

kube_pod_container_status_waiting{ namespace=~".*"}==1

说明：监控K8S等待创建的容器；可以监控容器

##### 18、监控K8S停止的容器 #####

PromQL语句：

kube_pod_container_status_terminated{ namespace=~".*"}==1

说明：监控K8S停止的容器；可以监控容器

##### 19、监控作业中心成功数 #####

PromQL语句：

sum(kube_job_status_succeeded{ namespace=~".*"})

说明：监控作业中心成功数；可以监控作业执行的成功数

##### 20、监控每个部署的副本数 #####

PromQL语句：

sum(kube_deployment_status_replicas{ namespace=~".*"})

说明：kube\_deployment\_status\_replicas 表示每个部署的副本数，这值是Status.Replicas；  
kube\_deployment\_spec\_replicas表示部署所需的吊舱数。这值是Spec.Replicas资源定义副本数  
kube\_deployment\_status\_replicas\_available 正在运行副本数  
kube\_deployment\_status\_replicas\_updated 更新的副本数  
kube\_deployment\_status\_replicas\_unavailable 不可用的副本数

##### 21、集群磁盘使用率 #####

PromQL语句：

(sum (node_filesystem_size_bytes{ nodename=~".*"}) - sum (node_filesystem_free_bytes{ nodename=~".*"})) / sum (node_filesystem_size_bytes{ nodename=~".*"})

说明：监控K8S集群磁盘使用率

##### 22、集群监控磁盘卷可用空间的 #####

PromQL语句：

kubelet_volume_stats_available_bytes / kubelet_volume_stats_capacity_bytes * 100 < 10

说明：监控K8S监控磁盘卷可用空间的，小于10就告警

##### 23、集群监控预测磁盘卷7天是否满 #####

PromQL语句：

predict_linear(kubelet_volume_stats_available_bytes[1h], 7 * 24 * 3600) < 0

说明：监控K8S集群监控预测磁盘卷7天是否满，小于0就告警

##### 24、集群监控PV使用状态监控 #####

PromQL语句：

kube_persistentvolume_status_phase{ phase=~"Failed|Pending"} > 0