基于Kubernetes的GPU类型调度实现

小鱼儿 2022-12-06 12:36 201阅读 0赞

**导读：**3 月 27 日，ACM 宣布深度学习的三位缔造者——Yoshua Bengio、Yann LeCun 及 Geoffrey Hinton 获得了 2018 年度的图灵奖。与学术界相对应的，在工业界，人工智能大潮也正汹涌奔来。除了冲击人们的衣食住行医，人工智能也将成为企业转型的颠覆性力量，是企业抓住下一轮创新发展的重要机遇。

作者：才云公司

来源：https://caicloud.io/blog

1行业背景

现如今，随着企业纷纷在机器学习和深度学习上加大投入，他们开始发现从头构建一个 AI 系统并非易事。

以深度学习为例。对于深度学习来说，算力是一切的根本。为了用海量数据训练性能更好的模型、加速整个流程，企业的 IT 系统需要具备快速、高效调用管理大规模 GPU 资源的能力。同时，由于算力资源十分昂贵，出于成本控制，企业也需要通过分布式训练等方式最大化 GPU 资源利用率。

面对这类新要求，**基于 Kubernetes 的云原生技术为人工智能提供了一种新的工作模式**。凭借其特性，Kubernetes 可以无缝将模型训练、inference 和部署扩展到多云 GPU 集群，允许数据科学家跨集群节点自动化多个 GPU 加速应用程序容器的部署、维护、调度和操作。

在 1.6 版本和 1.9 版本中，Kubernetes 先后提供了对 NVIDIA GPU、AMD GPU 容器集群管理调度的支持，进一步提高了对 GPU 等扩展资源进行统一管理和调度的能力。

但是，Kubernetes 作为新一代 AI 开发基础也存在缺陷。**为训练任务分配算力资源时，它通常是随机分配容器所在节点的 GPU，而不能指定使用某类 GPU 类型**。

虽然这对大部分深度学习模型训练场景来说已经足够了，但如果数据科学家希望能更灵活地使用更高性能的或某一类型的 GPU，Kubernetes 的能力就有些捉襟见肘了。

因此，在这篇文章中，我将介绍才云科技在这一点上的经验，谈一谈我们如何基于 Kubernetes 灵活实现 GPU 类型的调度。

2社区方案

**问题：原生 Kubernetes 如何让 Pod 使用指定类型的 GPU？**

假设集群中有两个节点有 GPU：节点 A 上有两个 Tesla K80，节点 B 上有两个 Tesla P100。Kubernetes 可以通过 Node Label 和 Node Selector，把 Pod 调度到合适的节点上，具体如下。

先给 Node 打上特定的 Label：

# Label your nodes with the accelerator type they have.
    $ kubectl label nodes node-a accelerator=nvidia-tesla-k80
    $ kubectl label nodes node-b accelerator=nvidia-tesla-p100

此时节点 A 如下：

$ kubectl describe node node-a
    Name:         node-a
    Roles:        <none>
    Labels:       ...
                  beta.kubernetes.io/arch=amd64
                  beta.kubernetes.io/os=linux
                  kubernetes.io/hostname=node-a
                  accelerator=nvidia-tesla-k80
    Annotations:  kubeadm.alpha.kubernetes.io/cri-socket: /var/run/dockershim.sock
    ......

当 Pod 想使用 NVIDIA Tesla K80 GPU 时，可以通过下面的方式：

apiVersion: v1
    kind: Pod
    metadata:
     name: cuda-vector-add
    spec:
     containers:
       - name: cuda-vector-add
         image: "k8s.gcr.io/cuda-vector-add:v0.1"
         resources:
           limits:
             nvidia.com/gpu: 1
     nodeSelector:
       accelerator: nvidia-tesla-k80

**上述做法貌似解决了问题，但它其实治标不治本。**

试想一下，如果用户集群在同一个节点上挂载了多种 GPU，我们该如何实现筛选？如果用户在同一个节点挂载了多个显存不同的 NVIDIA Tesla K80，而且想使用大于 10GiB 显存的 GPU，我们又该怎么办？

Kubernetes 的 Node Label 和 Node Selector 是没法解决这些问题的。

在上游社区，很多开发者也经常围绕此类问题展开讨论，但一直没有实际可用的方案落地。尽管如此，社区还是提供了不少精彩见解，比如下面就是社区中讨论最多的一个方案，我们的方案也借鉴了其中的部分设计。

*  新增 ResourceClass API，用来匹配集群中的扩展资源，具体用法见下文介绍；
 *  修改 Node API，在 NodeStatus 中增加字段描述扩展资源：

type NodeStatus struct {
        …
        ComputeResources []ComputeResource
    }
    type ComputeResource struct {
        // unique and deterministically generated. “resourceName-propertyHash” naming convention,
        // where propertyHash is generated by calculating a hash over all resource properties
        Name string
        // raw resource name. E.g.: nvidia.com/nvidia-gpu
        ResourceName string
        // resource metadata received from device plugin.
        // e.g., gpuType: k80, zone: us-west1-b
        Properties map[string]string
        // list of deviceIds received from device plugin.
        // e.g., ["nvidia0", "nvidia1"]
        Devices []string
        // similar to the above but only contains allocatable devices.
        AllocatableDevices []string
    }

*  扩展资源通过 Device Plugin API 向 Kubelet 组件注册其信息，随后 Kubelet 组件可以通过接收到的扩展资源信息更新节点状态，即上一步中的 ComputeResources 字段；
 *  调度器根据 ResourceClass 的定义过滤选择合适的节点。调度器监听 NodeStatus.ComputeResources 的变化并缓存节点上 ComputeResource 的分配信息，以便 ResourceClass 匹配合适的节点。

相比 Node Label 和 Node Selector，社区的方案更成熟。但不难看出，这个方案虽然可以修改 Kubernetes 核心代码和核心 API，但作为一个倍受关注的技术问题的解决方案，它的进度非常缓慢，一直没有得出更进一步的结论。

3我们的方案：GPU 类型调度实现

为了尽快实现在 Pod 使用指定类型的 GPU，我们在上游社区方案的基础上提出了一种全新方案。

**它充分利用了 Kubernetes 的扩展性和插件机制，并遵循最小侵入和方便移植的设计原则。**但是，出于简化用户使用和降低开发维护难度等原因，它还是修改了 Kubelet 和 Scheduler 组件。

同时，由于我们采用了多调度器的实现方式，所以方案中对于 Scheduler 组件的修改不影响现有集群和之后的版本升级，而 Kubelet 组件采用了向后兼容式修改，不影响已经在集群中运行的应用。

该方案不仅支持 GPU 资源，还支持包括 Infiniband、FPGAs 等扩展资源，它依赖以下现有 Kubernetes 工作机制：

*  Scheduler Extender 机制
 *  Device Plugin 机制
 *  API Server 扩展机制（CRD）
 *  Admission 扩展机制（ResourceQuota）

在 1.6 版本中，Kubernetes 可以通过 ThirdPartyResource(TPR) 创建自定义资源，但在 1.7 版本中，它推出了 TPR 的替代方法： CustomResourceDefinition(CRD)。

CRD 允许自定义一个资源类型，因此开发人员不再需要修改 Kubernetes 核心 API 或通过 API server aggregation 增加新资源，开发和维护难度大大降低。

**在我们的方案中，我们通过 CRD 定义了两种资源：ExtendedResource 和 ResourceClass。**ExtendedResource 描述了一种扩展资源，比如 NVIDIA GPU；ResourceClass 则定义了容器选择哪种扩展资源，它的使用方式和 Kubernetes 中的 Extended Resource（详见参考文献）类似，用户可以直接在容器中指定，就像使用 CPU 和 Memory 一样。

下面是才云方案的基本架构图：

![format_png][]

**核心模块一：Scheduler Extender。**Scheduler Extender 利用 Scheduler 组件的扩展性，负责调度容器中使用了 ResourceClass 资源对象的 Pod。它通过查询 ResourceClass 对象的定义过滤选择节点上的 ExtendedResource 资源，从而找到合适的节点并绑定，并将合适的 ExtendedResource 写到 Pod Annotation 中，供 Kubelet 组件使用。由于 Scheduler Extender 的扩展机制是通过 HTTP 的方式实现的，为了不影响集群的默认调度器性能，通过多调度器的方式为仅需要使用扩展资源的 Pod 提供调度，并且这种方式具有可移植性。

**核心模块二：Nvidia Device Plugin。**此组件仅针对 NVIDIA GPU 扩展资源，除了负责与 Kubelet 组件通信，它还负责创建和维护 ExtendedResource 资源对象。

**那么，当同一节点上有多种不同类型的 GPU 时，这个方案是如何解决类型指定的呢？**

我们假设有节点 A 上有两张 GPU，一张是 NVIDIA Tesla K80，另一张是 NVIDIA Tesla P100。那么这个节点上的 NVIDIA Device Plugin 会创建两个 ExtendedResource 资源对象，分别描述这两张卡的基本属性，如型号、显存、频率等。同时，它也会向 Kubelet 注册，把 A 节点上有两张 GPU 告知节点上的 Kubelet。

这时，如果用户想创建一个使用 K80 这张 GPU 的应用，他只需要创建一个 ResourceClass 资源，在 ResourceClass 中声明使用型号为 NVIDIA Tesla K80 的 GPU（比如通过 Selector 的方式声明），然后在容器中使用这个 ResourceClass 资源。

kind: ResourceClass
    metadata:
     name: nvidia.tesla.k80
    spec:
     selector:
       matchLabels:
         model: "NVIDIA Tesla K80"
    
    kind: Pod
    metadata:
     name: example-pod
    spec:
     containers:
     - name: example-container
       resources:
         limits:
           nvidia.tesla.k80: 1

*  Kubernetes 默认调度器在经过一系列筛选过滤后，会调用 Scheduler Extender 的 Filter 方法，并将需要调度的 Pod 和过滤后的 NodeList 传递给 Filter，实现 ResourceClass 查找满足需求的 ExtendedResource，从而找到合适的节点；
 *  当调度器找到合适的节点后，调用 Scheduler Extender 的 Bind 方法，将 Pod 和 Node 绑定，并将合适的 ExtendedResource 资源对象写到 Pod Annotation 中，供 Kubelet 组件使用。

当 Pod 和 Node 绑定后，节点上的 Kubelet 组件则开始创建容器，并通过 Pod Annotation 获取容器需要使用哪块 GPU 的信息，然后通过 Device Plugin API 调用 NVIDIA Device Plugin 的 Allocate 方法。

Allocate 方法参数是容器使用的 GPU DeviceID，它通过 DeviceID 查询 GPU 的信息作为环境变量，返回给 Kubelet 用以真正创建 Pod。

从上述流程中可以看出，当我们想使用特定类型的 GPU 或者某一类 GPU 时，我们只需声明该类型的 ResourceClass 资源对象，比如：

kind: ResourceClass
    metadata:
     name: nvidia.high.mem
    spec:
     selector:
     - matchExpressions:
       - key: "memory"
         operator: "Gt"
         values:
           - "10GiB"

更进一步，我们可以通过实现一个 Controller 监听集群中的 ExtendedResource 资源，自动为一种类型的 ExtendedResource 创建一个 ResourceClass 对象，为用户提供一些默认规则的 ResourceClass 资源对象。

**在实际生产集群环境中，我们不仅需要满足不同应用对资源的使用，更是要做到不同应用对资源使用的限制，以及对不同的 namespace 分配不同的资源**。而在 Kubernetes 中，我们一般会通过 ResourceQuota 资源对象来限制不同 namespace 的资源，例如：

kind: ResourceQuota
    metadata:
     name: example-quota
     namespace: system
    spec:
     hard:
       cpu: "10"
       memory: 20Gi
       nvidia.com/gpu: "5"

从上面的 ResourceQuota 定义里，我们可以看到 default 命名空间可以使用 5 块 NVIDIA GPU，但它并不限制具体该使用哪种类型的 GPU。

**那么，我们该如何实现对 GPU 类型的限制呢？**

首先，GPU 这类扩展资源使用是标量，所以我们对标量资源的限制只能做到整数个数的限制。

其次，从上述方案中，我们知道一种 ResourceClass 代表了一种类型的扩展资源，因此对扩展资源的限制其实就是对 ResourceClass 的限制。

这样理解之后，问题就很简单明了了。下面直接给出相应的 ResourceQuota：

kind: ResourceQuota
    metadata:
     name: example-quota
     namespace: system
    spec:
     hard:
       cpu: "10"
       memory: 20Gi
       nvidia.tesla.k80: "5"

4展望未来

**除了 GPU 类型调度，这个方案其实也可以解决 GPU 共享问题。**这同样是上游社区的一个热门讨论话题。

ExtendedResource 资源中包含着 GPU 的频率、显存等信息，当多个容器想使用同一块 GPU 时，我们可以定义一个 ResourceClass 资源对象，在 ResourceClass 中声明使用多少显存（这里共享的是显存）。这样，应用部署时，我们只要在容器中声明使用该 ResourceClass 资源即可，之后 Scheduler Extender 会过滤符合条件的 ExtendedResource 对象，绑定到合适的节点上。

如果要实现资源共享，我们可能需要在 ExtendedResource 中记录显存的用量情况，供调度参考。当然，这里没有考虑到资源的隔离和限制的问题，这需要单独实现和更进一步的讨论。

以上就是我们在探索如何让 Pod 使用指定类型的 GPU 上得出的解决方案。

\- END -

![format_png 1][]

[Kubernetes全栈技术培训][Kubernetes]

往期精彩文章

[kubernetes全栈技术+企业案例演示【带你快速掌握和使用k8s】][kubernetes_k8s]

[突破运维和开发瓶颈、Python、k8s、DevOps转型一网打尽！][Python_k8s_DevOps]

[python运维开发实战-基础篇  
][python_-_]

[python运维和开发实战-高级篇][python_-]

[python运维和开发实战-安装和创建Django项目][python_-_Django]

[Docker公司禁止被列入美国"实体名单"的国家、企业使用][Docker]

[Jenkis pipeline构建项目实践-编写podTemplate实现和k8s对接][Jenkis pipeline_-_podTemplate_k8s]

[安装kubernetes集群-灵活安装k8s各个版本高可用集群][kubernetes_-_k8s]

[Kubernetes v1.19 正式发布  
][Kubernetes v1.19 _]

[高效的Nginx负载均衡器][Nginx]

[5个维度对 Kubernetes 集群优化][5_ Kubernetes]

[什么是架构师？][Link 1]

[QPS、TPS、并发用户数、吞吐量关系][QPS_TPS]

[kubernetes面试题汇总][kubernetes]

[DevOps视频和资料免费领取][DevOps]

[kubernetes技术分享-可用于企业内部培训][kubernetes_-]

[谈谈我的IT发展之路][IT]

[kubernetes系列文章第一篇-k8s基本介绍][kubernetes_-k8s]

[kubernetes系列文章第二篇-kubectl][kubernetes_-kubectl]

[了解pod和pod的生命周期-这一篇文章就够了  
][pod_pod_-_]

[Kubernetes中部署MySQL高可用集群][Kubernetes_MySQL]

[Prometheus+Grafana+Alertmanager搭建全方位的监控告警系统-超详细文档][Prometheus_Grafana_Alertmanager_-]

[k8s1.18多master节点高可用集群安装-超详细中文官方文档][k8s1.18_master_-]

[k8s中蓝绿部署、金丝雀发布、滚动更新汇总][k8s]

[运维常见问题汇总-tomcat篇][-tomcat]

[关于linux内核参数的调优，你需要知道][linux]

[kubernetes挂载ceph rbd和cephfs][kubernetes_ceph rbd_cephfs]

[报警神器Alertmanager发送报警到多个渠道][Alertmanager]

[jenkins+kubernetes+harbor+gitlab构建企业级devops平台][jenkins_kubernetes_harbor_gitlab_devops]

[kubernetes网络插件-flannel篇][kubernetes_-flannel]

[kubernetes网络插件-calico篇][kubernetes_-calico]

[kubernetes认证、授权、准入控制][kubernetes 1]

[限制不同的用户操作k8s资源][k8s 1]

[面试真题&技术资料免费领取-覆盖面超全~][-]

[Prometheus监控MySQL][Prometheus_MySQL]

[Prometheus监控Nginx][Prometheus_Nginx]

[Prometheus监控Tomcat][Prometheus_Tomcat]

[linux面试题汇总][linux 1]

[测试通过storageclass动态生成pv][storageclass_pv]

[通过编写k8s的资源清单yaml文件部署gitlab服务][k8s_yaml_gitlab]

[helm安装和使用-通过helm部署k8s应用][helm_-_helm_k8s]

[k8s基于Ingress-nginx实现灰度发布][k8s_Ingress-nginx]

[k8s的Pod安全策略][k8s_Pod]

[Prometheus Operator-上篇-安装和使用篇][Prometheus Operator-_-]

[Prometheus Operator-下篇  
][Prometheus Operator-_]

[通过kubeconfig登陆k8s的dashboard ui界面][kubeconfig_k8s_dashboard ui]

[通过token令牌登陆k8s dashboard ui界面][token_k8s dashboard ui]

[kubernetes集群的etcd数据库详细介绍][kubernetes_etcd]

[Linux网络流量监控工具][Linux]

[kubernetes搭建EFK日志管理系统][kubernetes_EFK]

[prometheus operator监控k8s集群之外的haproxy组件][prometheus operator_k8s_haproxy]

[kubernetes ConfigMap存储卷][kubernetes ConfigMap]

## 技术交流 ##

学无止境，了解更多关于kubernetes/docker/devops/openstack/openshift/linux/IaaS/PaaS相关内容，想要获取更多资料和免费视频，可按如下方式进入技术交流群

![format_png 2][]

**微信：**luckylucky421302

按如下指纹可关注

![format_png 3][]

[format_png]: /images/20221123/fa1d88ffa1b24197a2d45efceaba46b0.png
[format_png 1]: /images/20221123/992405403f9f438f8b9850116143086f.png
[Kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638550cc140c46f9bae11199c5652f145798f9542681f3ac80746136ec687e71ce1fb8cf21&idx=1&mid=2247486021&scene=21&sn=0bf92248ed9b80149a3fa891f3bb24b3#wechat_redirect
[kubernetes_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638a31cc14032772d778f1a8fa5dc73f9aba6c99546c9ab25d9f91f706be3cff34572f0c1a&idx=1&mid=2247484708&scene=21&sn=2a7230ade0ce0bd9059e92752e03ba18#wechat_redirect
[Python_k8s_DevOps]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638455cc140d43dd091b09efc0c744b82f32d905c78ce9be71aae8c6d324d625f110fa1093&idx=1&mid=2247486272&scene=21&sn=e993bc259db899b79922863859d24bb2#wechat_redirect
[python_-_]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63855acc140c4cf0346cc3433bc874e7cd37a5b17cf5254147a1b20b538cf70158f2234b0f&idx=1&mid=2247486031&scene=21&sn=58003addbf36f2858f7d0dfbf887bb2a#wechat_redirect
[python_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6385eccc140cfa90bef6759c768c94ac2ca904c827fb2dcd969858ba46b818145e76e09c62&idx=1&mid=2247486201&scene=21&sn=0d45a2660a7480d73cf72ba67fe52f3a#wechat_redirect
[python_-_Django]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638417cc140d011a058d7cf83795bf75cfc327acbb3727c968058ff2807874a26f87843080&idx=1&mid=2247486210&scene=21&sn=078e172a34c22e5db1f57b17c21b2efe#wechat_redirect
[Docker]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63841ecc140d08e72aa244da69b776d4470aac79f3d03610c5fec827ac24a2048178204bf0&idx=1&mid=2247486219&scene=21&sn=31fe60b84f327ac1cc24bdb98ccba6a6#wechat_redirect
[Jenkis pipeline_-_podTemplate_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638472cc140d64ef12e6fff56dfa0aea54e016940494de9293f6727a8a39e61c427e206c35&idx=1&mid=2247486311&scene=21&sn=eb4be92fc95162e7a4d44c08521c7631#wechat_redirect
[kubernetes_-_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6384b8cc140dae0e6efba75100e29549cc440a010a5c7976bdd313e9c6139569b197e20a8f&idx=1&mid=2247486381&scene=21&sn=f07ae730cdc3ca2442462e0c7f2caed1#wechat_redirect
[Kubernetes v1.19 _]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6384a2cc140db49957616305e55d7abb842f0a46aa7344b1d1801acfba73adbb0b389a8200&idx=1&mid=2247486391&scene=21&sn=692b1e9d5df3afe2ea639ae969c5e091#wechat_redirect
[Nginx]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383bccc140aaa8e044e9b56c8cd5ca63c1470b7d88625b8d6d8c1828f16a42f7c61e9e6c9&idx=1&mid=2247486633&scene=21&sn=317a4a096e4a17491d8b5fa1eeb5d7d2#wechat_redirect
[5_ Kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383aecc140ab8050df002d52f6063e85ad2777f4ec0941c9d40ea49c50c11f23542f43dfc&idx=1&mid=2247486651&scene=21&sn=2fe1be9d4a335077757c46a36cb1aea2#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383decc140ac88ab1c9da0818ba89b627a96fb5a097a3ec10165c4b41e7f43f6ac562d063&idx=1&mid=2247486667&scene=21&sn=4996d3c4b5653a757256587597709c3d#wechat_redirect
[QPS_TPS]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383d7cc140ac1dc83e4076b5677ea33f6686129dc9154034a41a37f14be2372e89caf3b87&idx=1&mid=2247486658&scene=21&sn=ce78d0e98a572089326043db7e25af9b#wechat_redirect
[kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b9ccc14028a3220533e5e05f81b5b434cdc14f1cb4be6771a8afdb943f7f5f940704c61&idx=1&mid=2247484553&scene=21&sn=141700cdd2e13b87d5b756f8965a30c2#wechat_redirect
[DevOps]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b81cc140297e292675f1e8ea21d3a9f05e01e488e642bcc1113d69d06d0afbd40446c0e&idx=1&mid=2247484564&scene=21&sn=3ec4b58056aec30acf82e84cfd9daa52#wechat_redirect
[kubernetes_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b4acc14025c10c5b87f75ff8e95c89c97036f1f73250a64e2a829df191c95c34ed5b8b3&idx=1&mid=2247484511&scene=21&sn=7900c5a4eac3535be97315797d42d64b#wechat_redirect
[IT]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c29cc14053fafcb62be244f5a279052b8d159c9c530e73495cfd8ab97205988780d4aaa&idx=1&mid=2247484220&scene=21&sn=72ae437836108fbecbeb86752aad888c#wechat_redirect
[kubernetes_-k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c42cc1405547ea583833c46878b6c120f5f39fb3746f89a8d2e515d432422b3019ded64&idx=1&mid=2247484247&scene=21&sn=c8986ed491e6c48cb6faab087fe8472c#wechat_redirect
[kubernetes_-kubectl]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638cbacc1405ac390b6c0fc7535e1cc805877a408c5f4a94a7148a47c186a57ff4f0c8ea32&idx=3&mid=2247484335&scene=21&sn=7e5ae586dae2016f6c0f5fcb60dd7317#wechat_redirect
[pod_pod_-_]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c30cc1405263cbd23e3fbe23f9ca9e83c1eb1800216a0e4e26e7c27d4234598def46bb1&idx=1&mid=2247484197&scene=21&sn=36ece95b266609bd769cf6a1fcf9d723#wechat_redirect
[Kubernetes_MySQL]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c73cc1405657ed02b3126423259cb8563c18d268fa7ffd4a516327cd35148ef61d8d762&idx=1&mid=2247484262&scene=21&sn=de970288426cdca05cf6ca0f5df4ff4c#wechat_redirect
[Prometheus_Grafana_Alertmanager_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b08cc14021e5e025f2f0b89d18ec5ef19f9dec4429a56f356e8b596d01095e313dab3e3&idx=1&mid=2247484445&scene=21&sn=bf8928e7aae815b8e7f9ac56a67289ce#wechat_redirect
[k8s1.18_master_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c7dcc14056b9f0261e05e4d36a057c4511fb5806222f71b7965c3573fed86672b2c93b7&idx=1&mid=2247484264&scene=21&sn=4d74de0cb117c07ba7c73ea21c42bf94#wechat_redirect
[k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c36cc140520e6905db5923afe163d7babb5d9eb6c5e8045a795c37b33a2a2e5541e3efd&idx=1&mid=2247484195&scene=21&sn=b841f2ea305acfa2996a667d4ff4d99e#wechat_redirect
[-tomcat]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c21cc140537d10eeb8b4eb37e1451392123dd74513d704af00506c0576ba11da9907735&idx=1&mid=2247484212&scene=21&sn=923b044e9d2b4e5a612ac7c1307d166c#wechat_redirect
[linux]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c5ecc14054862495a8f77d58d7483c34310839ea3ed93d8b44875a1685b3412d381f23a&idx=1&mid=2247484235&scene=21&sn=12e2e80187dbf217efff6c59da778f7c#wechat_redirect
[kubernetes_ceph rbd_cephfs]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638a07cc140311e6e111b9bb89e3613c495a26b6b496fe97c838787568c72dd1bb23088520&idx=1&mid=2247484690&scene=21&sn=32deb33cef9d91518cd8dea47da073c5#wechat_redirect
[Alertmanager]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638ab7cc1403a1f6b07cbe682548595fe683f1ffdf56d2b4d31382003907a41da1e03c1408&idx=1&mid=2247484834&scene=21&sn=7f407f5a27b03b4757c8892f1b5d6234#wechat_redirect
[jenkins_kubernetes_harbor_gitlab_devops]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638d2fcc14043990967471ba8a2aaf389ab483594fd81395b5afda1c23a9eff4371df6bca4&idx=1&mid=2247483962&scene=21&sn=595eac335f7fb523bbb60cbbede109ca#wechat_redirect
[kubernetes_-flannel]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c005de5f4913b3e81d32cf98dc4f237be04b0c19e02f615650538a9aa0aabdc025604918&idx=1&mid=2247483855&scene=21&sn=26587a359cca53d129ab7e8a7fa394e0#wechat_redirect
[kubernetes_-calico]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c073de5f49658fdaed40affb1a9ea3f059e7df3cc90ae24b194a8698a7f73089d3964cab&idx=1&mid=2247483833&scene=21&sn=c00c2b69db7d06eacaf6206805d2955a#wechat_redirect
[kubernetes 1]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c05fde5f494917570591168d9e71f507c2d124312c51dfdb6cfb30eb03eb48b73a3e0d9b&idx=1&mid=2247483797&scene=21&sn=bc208ee075c41b81ffabaefe509538ba#wechat_redirect
[k8s 1]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0b4de5f49a2eef8cc91afa81095b71eb093e94dce6eddbc7059583e819b1ac51c596ebb&idx=1&mid=2247483774&scene=21&sn=dfc3babde045fe99da9fa168cc9f0595#wechat_redirect
[-]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0bfde5f49a9990c672e4434f5ae7b74004dc1982cc44801c524b58067d9b245e5ba5b71&idx=1&mid=2247483765&scene=21&sn=b8444e82a93535425349b509ded4e4b6#wechat_redirect
[Prometheus_MySQL]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0aade5f49bc7df29ecb2280ab9e1a8aa905b31e36856bf8dc19b05ef60c5e7be0333b88&idx=1&mid=2247483744&scene=21&sn=1035d73f8cf39caf8534766435497590#wechat_redirect
[Prometheus_Nginx]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c095de5f4983c249b1b556fa6f8f60a0bb6991d2872079a9d5c28ce2ee17b8fc407eeb2c&idx=1&mid=2247483743&scene=21&sn=3ad15cd693685479dc7bf5dd628796d2#wechat_redirect
[Prometheus_Tomcat]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c086de5f499011eb542c6da8ead32b538c0bf06340ebe56ad439e2649e0b63efbcb4a611&idx=1&mid=2247483724&scene=21&sn=dd390f05270c6ac7a9c2b51fdc22f0ee#wechat_redirect
[linux 1]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0dede5f49c878898e04329f08d8adf554397476283aaa3f2554f71a8bf20986755fbcc9&idx=1&mid=2247483668&scene=21&sn=a7d0768b7eb034ef2e2f23e25b1b1845#wechat_redirect
[storageclass_pv]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638837cc140121578456f6a5d679ae481421f2f3f1d5099bb7f2c56d00174fe61b2016061d&idx=1&mid=2247485218&scene=21&sn=ba698d444a029a2659091bfd81133697#wechat_redirect
[k8s_yaml_gitlab]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638814cc1401028c7ab321d2ac6579f5c6d2b029fadc5687874e41470bf95aa09c01c33d45&idx=1&mid=2247485185&scene=21&sn=2b5646119a008d69948c5a84d3724c95#wechat_redirect
[helm_-_helm_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638bbbcc1402ad16d4b65b3db26cbd324c85819934077caa41969f0c9d573b71b21e2c51ff&idx=1&mid=2247484590&scene=21&sn=2c23098269c5df1e793aa47198a7b1e6#wechat_redirect
[k8s_Ingress-nginx]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6385fdcc140ceb4a5cf902d24499ce3480f91aa97e0e0c7a1fb12a466865ff2f8dedc8be0c&idx=1&mid=2247486184&scene=21&sn=cccb2bc67ca74a01be7b4f79e05f8bec#wechat_redirect
[k8s_Pod]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6385c3cc140cd57c41dcdd267f2bc0f0f6476d3a56e1fa88b23a7ad3f82799bad72cbdde93&idx=1&mid=2247486166&scene=21&sn=a40899007709d1a1f3e7b5be79ed6e49#wechat_redirect
[Prometheus Operator-_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638626cc140f30c8d35e45239e6b559f7369b8c58bacd157a24e7b62313c826baec75f299f&idx=2&mid=2247485747&scene=21&sn=3da14a91d75f745b26c3aa8d10361d23#wechat_redirect
[Prometheus Operator-_]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63865bcc140f4d8966d1c3745c8f69c6384337c43a1a8eda6e1ae488bd78f08e44c9553b19&idx=1&mid=2247485774&scene=21&sn=1b0301dadc4b737e19b1066219813db7#wechat_redirect
[kubeconfig_k8s_dashboard ui]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638679cc140f6f4e024f2e7739b995fc235b6f4e97983a583bc9c7e82da88cf0fbf8736fe7&idx=1&mid=2247485804&scene=21&sn=c157f0596f130bd97ec745b278546c50#wechat_redirect
[token_k8s dashboard ui]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638687cc140f918f04ca60ed188da26cd3ab37a79e6fdbf64531efd11ae60dac0a77788f7c&idx=2&mid=2247485842&scene=21&sn=163174142218e8dca3bb9a94ed173694#wechat_redirect
[kubernetes_etcd]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63853bcc140c2d4c4da1b59a4865c193383392d92075cee80530866892d8a2a365e2b4e565&idx=1&mid=2247485998&scene=21&sn=9889882d1820ac005e5512eccb67c0f1#wechat_redirect
[Linux]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638538cc140c2e581b8c673a9c529359042a2262ec112f8c3476c7408f25e04856f0b37bbd&idx=2&mid=2247485997&scene=21&sn=ac694beaf60cbf18d133eb6ebbc7a345#wechat_redirect
[kubernetes_EFK]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63851fcc140c09d17fe6e270524da6c3ec3c5f3969f6f4f61a54c54724168801d93b2cda9d&idx=1&mid=2247485962&scene=21&sn=87dfde054f2ff489a1ffd28dfe02a435#wechat_redirect
[prometheus operator_k8s_haproxy]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6386f0cc140fe6dea923cb07c2164db1c894c87d8c85d828aa269cdf4ae2d92eeb201adb67&idx=1&mid=2247485925&scene=21&sn=5ae9bc969963775e347c3a1f279d541c#wechat_redirect
[kubernetes ConfigMap]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63853acc140c2ca1dc3ca813b133ca7158c34df5cfe59cebf7621851ead91490eaabc74a1b&idx=1&mid=2247485999&scene=21&sn=f6b03745426149e498a8c7065b060e24#wechat_redirect
[format_png 2]: /images/20221123/baeff8c1535548408f83221db7701a38.png
[format_png 3]: /images/20221123/22458d564468475fb6bd05da71b571e8.png