K8S体系监控-cadvisor监控

￡神魔★判官ぃ 2022-12-13 04:09 357阅读 0赞

> K8S体系监控

##### 背景 #####

由于业务容器化的推进，对K8S上运行的业务，也必须做到向之前物理机/虚拟机上一样，要有完备的监控保障。但是，毕竟K8S不是物理机/虚拟机，由于技术实现方式不同，监控方面也是有一定差别的。  
Pod是K8S上调度的最小单元，本文就K8S Pod Docker容器该如何监控进行说明。

##### promethes容器内存监控 #####

round(sum by(name, id, job, node) (container_memory_rss{ image!=""}) / sum by(name, id, job, node) (container_spec_memory_limit_bytes{ image!=""}) * 100 != +Inf) > 99

说明：

*  != +Inf：  
    过滤正无穷的数据，如果容器没有定义限制内存，测container\_spec\_memory\_limit\_bytes值是0；
 *  container\_memory\_rss:  
    RSS内存，即常驻内存集（Resident Set Size），是分配给进程使用实际物理内存，而不是磁盘上缓存的虚拟内存。RSS内存包括所有分配的栈内存和堆内存，以及加载到物理内存中的共享库占用的内存空间，但不包括进入交换分区的内存。
 *  container\_memory\_working\_set\_bytes 容器使用内存 更能体现出mem usage，也是oom killer指标(建议使用)
 *  container\_spec\_memory\_limit\_bytes:  
    容器的内存使用量限制，当k8s中的确认

##### promethes容器CPU监控 #####

sum by(name, namespace, job) (rate(container_cpu_usage_seconds_total{ image!=""}[10m])) >= (sum by(name, namespace, job) (container_spec_cpu_quota{ image!=""} / 100000))

说明：  
公式 平均1s容器使用CPU的时间/配额CPU个数\*1s

*  container\_cpu\_usage\_seconds\_total 该容器服务针对每个CPU累计消耗的CPU时间。如果有多个CPU，则总的CPU时间需要把各个CPU耗费的时间相加，可以求出平均1s容器使用的时间
 *  container\_spec\_cpu\_quota 是容器的CPU配额，它的值是：为容器指定的CPU个数\*100000。故Pod在1s内CPU的总时间为：Pod的CPU核数 \* 1s：

注意：  
CPU配额可以通过container\_spec\_cpu\_quota除以container\_spec\_cpu\_period来得到，  
或用CPU Limit值kube\_pod\_container\_resource\_limits\_cpu\_cores也可以

说明：  
CPU资源的限制与内存不同。当容器使用的内存超过限制配额后，会被系统加到OOM-Killing候选中。当容器使用CPU资源到达申请配额时，容器不会被系统驱逐或怎么样，只是限制CPU使用。

##### 容器入带宽大于2M #####

round(sum by (namespace,job,name) (irate(container_network_receive_bytes_total{ image!=""}[5m]))  / 1024 /1024*1000)/1000 > 2

说明：k8s对网络的记录级别是pod级别的

##### 容器出带宽大于2M #####

round(sum by (namespace,job,name) (irate(container_network_transmit_bytes_total{ image!=""}[5m]))  / 1024 /1024*1000)/1000 > 2

##### K8S集群内存使用率 #####

表达式 PromQL语句：

sum (container_memory_working_set_bytes{ id="/",kubernetes_io_hostname=~"^$Node$"}) / sum (machine_memory_bytes{ kubernetes_io_hostname=~"^$Node$"}) * 100