【腾讯云 Finops Crane 集训营】老板喜欢降本增效？学会 Crane，让腾讯每月省千万的奇迹在你手中上演

亦凉 2024-04-24 20:45 61阅读 0赞

> ❤️作者主页：[小虚竹][Link 1]
> 
> ❤️作者简介：大家好,我是小虚竹。2022年度博客之星评选TOP 10?，Java领域优质创作者?，CSDN博客专家?，华为云享专家?，掘金年度人气作者?，阿里云专家博主?，51CTO专家博主?
> 
> ❤️技术活，该赏
> 
> ❤️点赞 ? 收藏 ⭐再看，养成习惯

#### 文章目录 ####

*  零、前言
 *  一、什么是Crane
 *   *  1.1、Crane 的背景和目标
     *  1.2、Crane 的工作原理
 *  二、Crane实战
 *   *  2.1、安装环境
     *  2.2、安装配套环境
     *   *  安装 kubectl
         *  安装 Helm
         *  安装 kind
         *  安装 Docker
         *   *  配置阿里云加速
     *  2.3、本地安装 Crane
     *  2.4、使用智能弹性 EffectiveHPA
     *   *  安装Metrics Server
         *  创建测试应用
         *  创建 EffectiveHPA
     *  2.5、增加负载
     *  2.6、成本展示
     *  2.7、如何计算成本
     *  2.8、推荐配置
 *  三、Crane 的使用场景
 *   *  1、云资源成本控制
     *  2、费用核算与精细化管理
     *  3、数据安全保障
 *  四、结论
 *  五、参考

## 零、前言 ##

虚竹哥很荣幸参加了由腾讯云联合CSDN推出的“腾讯云 Finops Crane 集训营”，在该课程中，老师通过直播的方式手把手地指导从零到壹搭建Crane平台。虚竹哥迅速地完成了本地环境上的实验，并且得到了老师的认可，哈哈，开心～  
![在这里插入图片描述][acf60f90655a40d1aeba8ebb38cf1058.png]

把直播学到的内容整理成博客，分享给大家～

## 一、什么是Crane ##

Crane 是一个基于 FinOps 的云资源分析与成本优化平台。它的愿景是在保证客户应用运行质量的前提下实现极致的降本。  
重点：Crane已经开源了：[https://github.com/gocrane/crane][https_github.com_gocrane_crane]

### 1.1、Crane 的背景和目标 ###

云原生应用程序是一种以容器、微服务和云平台作为基础架构的应用程序开发和部署方式，具有高度的可扩展性、灵活性和可移植性等特点。随着云计算技术的不断发展，云原生应用程序已经成为了未来的趋势。

然而，在大规模的云原生环境下，云原生应用程序的成本管理变得越来越重要。

*  传统的基础架构和应用程序监控方法已无法满足日益复杂的云原生应用程序的管理需求；
 *  云计算的成本模式由按量计费转向保留购买，企业需要一个能够有效降低运营成本和管理难度的方案。

因此，如何通过有效的成本优化，提高云原生应用程序的效率和可靠性，已成为了云原生领域的重要问题。追求更高效、更经济的云原生应用程序成本优化方案，能够对企业和组织的业务发展产生积极的影响。

为了解决这个问题，腾讯推出了 Crane 平台，该平台通过部署在 Kubernetes 集群上的控制器及其他组件，提供一种自动化、高效、可靠的方式来优化云原生应用程序成本。Crane 平台提供了一系列的优化策略和方案，可以轻松地对其云原生应用程序的成本进行跟踪、分析和管理。

### 1.2、Crane 的工作原理 ###

![在这里插入图片描述][3a85384d86244e2e98e9990f59f1ab1f.png]  
Crane平台主要利用Kubernetes集群的能力，来对云原生应用程序进行成本优化。具体而言，它通过部署在集群上的控制器和其他组件来监控和管理云原生应用程序的资源使用情况，并提供一些自动化的策略和方案，以减少运行成本和提高效率。

实现这一目标的基础是Kubernetes（K8s），这是一个开源的容器编排平台，可以协调应用程序在容器化环境中的部署、扩展和管理。Crane平台依靠K8s提供的API和机制来实现自动化的成本优化策略。

针对不同的优化场景，Crane平台提供了多种自动化策略和方案，例如：

*  成本可视化和优化评估：
    
     *  提供一组 Exporter 计算集群云资源的计费和账单数据并存储到你的监控系统，比如 Prometheus。
     *  多维度的成本洞察，优化评估。通过 Cloud Provider 支持多云计费。
 *  推荐框架：提供了一个可扩展的推荐框架以支持多种云资源的分析，内置了多种推荐器：资源推荐，副本推荐，HPA 推荐，闲置资源推荐
 *  基于预测的水平弹性器：EffectiveHorizontalPodAutoscaler 支持了预测驱动的弹性。它基于社区 HPA 做底层的弹性控制，支持更丰富的弹性触发策略（预测，观测，周期），让弹性更加高效，并保障了服务的质量。
 *  负载感知的调度器：动态调度器根据实际的节点利用率构建了一个简单但高效的模型，并过滤掉那些负载高的节点来平衡集群。
 *  拓扑感知的调度器：Crane Scheduler与Crane Agent配合工作，支持更为精细化的资源拓扑感知调度和多种绑核策略，可解决复杂场景下“吵闹的邻居问题"，使得资源得到更合理高效的利用。
 *  基于 QOS 的混部：QOS相关能力保证了运行在 Kubernetes 上的 Pod 的稳定性。具有多维指标条件下的干扰检测和主动回避能力，支持精确操作和自定义指标接入；具有预测算法增强的弹性资源超卖能力，复用和限制集群内的空闲资源；具备增强的旁路cpuset管理能力，在绑核的同时提升资源利用效率。

综述，Crane平台的工作原理是基于容器编排平台Kubernetes，并通过特定的控制器和组件提供自动化的成本优化策略，为企业和组织提供高效、可靠、经济的云原生应用程序管理方案。

## 二、Crane实战 ##

从零到壹搭建Crane平台

### 2.1、安装环境 ###

MacBook Pro  
芯片：Apple M1 Pro  
内存：32 GB

### 2.2、安装配套环境 ###

#### 安装 kubectl ####

![在这里插入图片描述][4837b99b865b4f21b52f05ba1982e925.png]  
下载最新的发行版：

curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/darwin/arm64/kubectl"

![在这里插入图片描述][1f4c043902664f7299145e2fe39d00a6.png]  
下载 kubectl 的校验和文件：

curl -LO "https://dl.k8s.io/release/$(curl -L -s https://dl.k8s.io/release/stable.txt)/bin/darwin/arm64/kubectl.sha256"

![在这里插入图片描述][e5e610150df447b8aa6670ecdc60ce57.png]

根据校验和文件，验证 kubectl：

echo "$(cat kubectl.sha256)  kubectl" | shasum -a 256 --check

验证通过：  
![在这里插入图片描述][dedb91bbbc1c48e984593be21f3ec825.png]

将 kubectl 置为可执行文件：

chmod +x ./kubectl

将可执行文件 kubectl 移动到系统可寻址路径 PATH 内的一个位置：

# 查看path路径
    echo $PATH
    
    sudo mv ./kubectl /usr/local/bin/kubectl
    sudo chown root: /usr/local/bin/kubectl

查看版本的详细信息：

kubectl version --client --output=yaml

![在这里插入图片描述][aef472a5b2374e6788f84258d3d5b5a4.png]

#### 安装 Helm ####

下载 [需要的版本][Link 2]

![在这里插入图片描述][fc8bffc64f2c4fde882a5732ca9d072c.png]  
解压  
然后移动到需要的目录中

mv darwin-arm64/helm /usr/local/bin/helm

查看版本号：

helm version

![在这里插入图片描述][2f54515724024181b5a088a8a32ffbd5.png]

#### 安装 kind ####

下载包：

curl -Lo ./kind https://kind.sigs.k8s.io/dl/v0.18.0/kind-darwin-arm64
    
    chmod +x ./kind

![在这里插入图片描述][5472f7dee6f14817b7da7abdb86f4c44.png]

查看版本号：

kind version

![在这里插入图片描述][ea8ae12053ed4bcbb0afd6309a8eafd9.png]

#### 安装 Docker ####

点击链接下载Docker for Mac：  
[阿里云传送门][Link 3]  
注：对于10.10.3以上的用户

双击下载的 .dmg 文件，把应用图标拖拽到 Application 文件夹。  
![在这里插入图片描述][d5f23a97ebce4a9f971766b95ca9d31e.png]

启动终端后，查看安装后的docker版本。

docker --version

![在这里插入图片描述][f445d82454a14d7388ddedb485998dcc.png]

##### 配置阿里云加速 #####

阿里云加速器:[传送门][Link 4]  
![在这里插入图片描述][e59b7e6330794833a58e306d16af04e2.png]

> 针对安装了Docker for Mac的用户，您可以参考以下配置步骤：  
> 在任务栏点击 Docker Desktop 应用图标 -> Perferences，在左侧导航菜单选择 Docker Engine，在右侧输入栏编辑 json 文件。将  
> https://0vq0qofd.mirror.aliyuncs.com加到"registry-mirrors"的数组里，点击 Apply & Restart按钮，等待Docker重启并应用配置的镜像加速器。

![在这里插入图片描述][cd331e5b780c47c48b71bc9181885b10.png]  
![在这里插入图片描述][f90ee89c1e8e4c32a4440a48d4916891.png]  
验证镜像是否配置成功：docker info  
![在这里插入图片描述][6d8c55a5ffca49df9b8c77b06360e75e.png]

### 2.3、本地安装 Crane ###

在线安装：

curl -sf https://raw.githubusercontent.com/gocrane/crane/main/hack/local-env-setup.sh | sh -

我没开github加速，所以采用本地安装包安装的方式。

链接: https://pan.baidu.com/s/1YVsHa1xHeiDPPiRi9-hMMA 提取码: 5pgf

有需要自取  
用本地的安装包执行安装，在命令行中执行以下安装命令：

# 必须在 installation 的上级目录执行命令：
    bash installation/local-env-setup.sh

![在这里插入图片描述][76d1b6107dab4282a5881a3e5f2a9fd6.png]  
安装过程比较久，要几分钟时间，有耐心等待一会。

确保所有 Pod 都正常运行:

export KUBECONFIG=/Users/zhw/.kube/config_crane
    
    kubectl get deploy -n crane-system
    
    kubectl get pod -n crane-system

![在这里插入图片描述][12c810f049944508b9ddbd84ffb367f5.png]

如图各个服务是running的，说明启动正常。

访问 Crane Dashboard

kubectl -n crane-system port-forward service/craned 9090:9090

![在这里插入图片描述][0c29a6055c534126943567c7ff75f263.png]

### 2.4、使用智能弹性 EffectiveHPA ###

EffectiveHorizontalPodAutoscaler（简称 EHPA）是 Crane 提供的弹性伸缩产品，它基于社区 HPA 做底层的弹性控制，支持更丰富的弹性触发策略（预测，观测，周期），让弹性更加高效，并保障了服务的质量。

*  提前扩容，保证服务质量：通过算法预测未来的流量洪峰提前扩容，避免扩容不及时导致的雪崩和服务稳定性故障。
 *  减少无效缩容：通过预测未来可减少不必要的缩容，稳定工作负载的资源使用率，消除突刺误判。
 *  支持 Cron 配置：支持 Cron-based 弹性配置，应对大促等异常流量洪峰。
 *  兼容社区：使用社区 HPA 作为弹性控制的执行层，能力完全兼容社区。

#### 安装Metrics Server ####

新开个终端：

export KUBECONFIG=${HOME}/.kube/config_crane
    kubectl apply -f installation/components.yaml
    kubectl get pod -n kube-system

![在这里插入图片描述][c367b9992b1a4f1c854cb6f9cb86de6f.png]

#### 创建测试应用 ####

用以下命令启动一个 Deployment 用 hpa-example 镜像运行一个容器， 然后将其暴露为一个 服务（Service）：

kubectl apply -f installation/php-apache.yaml
    
    kubectl apply -f installation/nginx-deployment.yaml

![在这里插入图片描述][37b80230bbb54f619c966ab754e50d64.png]

#### 创建 EffectiveHPA ####

kubectl apply -f installation/effective-hpa.yaml

运行以下命令查看 EffectiveHPA 的当前状态：

kubectl get ehpa

输出类似于:  
![在这里插入图片描述][3f679996cb9f49dea130d55b9bef3629.png]

kubectl get hpa ehpa-php-apache --watch

随着负载请求增多，CPU利用率会不断提升，可以看到 EffectiveHPA 会自动扩容实例。

### 2.5、增加负载 ###

新开一个终端：

export KUBECONFIG=${HOME}/.kube/config_crane

增加负载

kubectl run -i --tty load-generator --rm --image=busybox:1.28 --restart=Never -- /bin/sh -c "while sleep 0.01; do wget -q -O- http://php-apache; done"

![在这里插入图片描述][08a629e68c7e4d3691a2444d3b12ebc9.png]

再去看EffectiveHPA的终端：  
![在这里插入图片描述][e4a6dac56f5d4ff1931a111b5b1ac1c8.png]

### 2.6、成本展示 ###

Crane Dashboard 提供了各式各样的图表展示了集群的成本和资源用量  
![在这里插入图片描述][8363dec6be7848b380126a08e5192dd2.png]  
当月总成本：过去一个月集群总成本。从安装Crane时间开始，按小时累加集群成本  
预估每月成本：以最近一小时成本估算未来一个月的成本。每小时成本 \* 24 \* 30  
预估CPU总成本：以最近一小时CPU成本估算未来一个月的CPU成本。每小时CPU成本 \* 24 \* 30  
预估Memory总成本：以最近一小时Memory成本估算未来一个月的Memory成本。每小时Memory成本 \* 24 \* 30

![在这里插入图片描述][7e5a05482f7b4682a18bba9c1056d957.png]  
![在这里插入图片描述][578065156ea64f2faf44a5ef11b9746f.png]  
更多的成本分析图表可以通过登陆 Grafana 的页面或者分析源码研究。  
登陆 Grafana 的方式可以通过以下命令建立一个 port-mapping：  
新开一个终端：

export KUBECONFIG=${HOME}/.kube/config_crane
    
    kubectl -n crane-system port-forward service/grafana 8082:8082

访问本地 Grafana（账号密码:admin/admin）  
http://127.0.0.1:8082/grafana/login  
![在这里插入图片描述][edae964450bd4da592a616a31624e451.png]  
![在这里插入图片描述][680caff34b4c4c5287d2daa9f6a57945.png]

### 2.7、如何计算成本 ###

成本计算功能是由组件 Fadvisor 实现，在安装 Crane 时会一起安装，一起提供了成本展示和成本分析功能：

*  Server：收集集群 Metric 数据并计算成本
 *  Exporter：将成本 Metric 暴露出来

在 dashboard 中开箱后就可以看到相关的成本数据，是因为在添加集群的时候我们安装了推荐的规则。  
![在这里插入图片描述][a51b6527d0814a5ca5626a9a3f56c841.png]  
推荐框架会自动分析集群的各种资源的运行情况并给出优化建议。Crane 的推荐模块会定期检测发现集群资源配置的问题，并给出优化建议。智能推荐提供了多种 Recommender 来实现面向不同资源的优化推荐。  
这些推荐规则实际上在将 K8s 集群接入Dashboard时安装上的 RecommendationRule CRD 对象：  
新开一个终端：

export KUBECONFIG=${HOME}/.kube/config_crane
    
    kubectl get RecommendationRule

![在这里插入图片描述][75b5ea1a5f5941c8bb75f7e5b848d21d.png]

### 2.8、推荐配置 ###

查看一次闲置节点推荐规则的资源对象，如下所示：

kubectl get recommendationrule idlenodes-rule -oyaml

![在这里插入图片描述][d78a949bc7734381abf5bdb3ebdf562f.png]  
生成了多个优化建议 Recommendation 对象：

kubectl get recommendations -A

![在这里插入图片描述][6b8133e0280d4a618237a0ad1ce4df0f.png]  
可以随便查看任意一个优化建议对象。

kubectl get recommend workloads-rule-resource-6tknq -n crane-system -oyaml

![在这里插入图片描述][13fe6c69c3664f5899d2e26096c4e590.png]

也有界面化效果：  
在 dashboard 的资源推荐页面也能查看到优化建议列表。  
![在这里插入图片描述][8e462ac8db88418398f5871a687e0daf.png]  
通过查看监控查看详细的监控数据。  
![在这里插入图片描述][f0b71ce32ad44972b862745a3f171b19.png]  
查看采纳命令：  
![在这里插入图片描述][7d16c50b4b294bde920934c9175075f7.png]  
执行命令即可完成优化，其实就是修改资源对象的 resources 资源数据。

## 三、Crane 的使用场景 ##

Crane平台 在**政务行业** 可以帮助政府机构实现数字化转型，提升工作效率，降低成本开支。  
虚竹哥对Crane平台 和政务行业的了解，Crane平台至少有以下应用场景可以帮助到政府机构。

### 1、云资源成本控制 ###

政府机构通常需要大量使用云计算和容器化技术，但是当资源过度使用或误用时，会给政府机构带来昂贵的费用。通过使用Crane平台的云资源分析服务，政府机构可以实现针对云资源的成本控制。Crane平台通过数据分析出影响成本的主要因素，并同时针对性地制定更有效的成本控制策略，为政府机构节省大量开支。

**技术帮助：** Crane平台拥有先进的指标监控和成本核算功能，可以实时跟踪云资源使用情况，并自动调整资源配置，实现自动化成本优化，从而提高资源使用效率和可持续性。

### 2、费用核算与精细化管理 ###

政府机构可以通过Crane平台实现对每个使用单位的资源使用情况进行精准监管，并对不合理的资源使用进行精细化扣费，从而提高资源使用效率和质量。

**技术帮助：** Crane平台拥有自动化费用报告功能，可以灵活定制云资源使用报告，方便政府机构精细化管理和核算费用。

### 3、数据安全保障 ###

政府机构通常需要处理大量敏感数据，因此在云计算应用过程中，数据安全保障显得尤为重要。Crane平台通过提供强大的安全性和隐私保护机制来保障政府机构数据的安全性。Crane平台拥有先进的安全监控和审计功能，对各类云资源进行实时监测和风险预警，并对敏感数据进行加密和隔离保护。

**技术帮助：** Crane平台基于开源容器编排平台Kubernetes和其他云原生技术，提供全面的安全性保障机制，包括访问控制、流量控制、敏感数据保护等方面。  
**重点：Crane平台已经开源，支持私有化部署，将Crane平台部署在自己的服务器上，政府机构可以实现更高的安全性和可控性。**  
而且私有化部署提供更高的灵活性和定制化。政府机构可以针对自身需求进行定制化开发和优化，满足多元化的应用场景和业务需求。

## 四、结论 ##

通过本文的学习，知道了Crane平台的背景、目标和工作原理，以及如何从零搭建平台和在政务行业中应用场景。

在从零到壹搭建平台的实战中，带大家深入的了解了Crane平台的结构和组成，一步步实际操作，加深了对Crane平台的理解。以虚竹哥在政务行业的行业经验，政府机构可以通过Crane平台，实现数字化转型和成本管控，进而提升工作效率和服务质量。可以为政府机构节省不少钱。同时，还提供了强大的安全性和隐私保护机制（私有化部署）来保障政府机构数据的安全性。

在虚竹哥看来，Crane平台的核心价值是：**降本增效** 和**稳定性保障** 。在当前数字化转型大势下，Crane平台能够帮助政府机构更好地管理云资源，从而提升服务质量和工作效率。虽然Crane平台的技术操作需要一定的技术水平要求，这方面有待提高加强。但Crane平台的未来发展很有潜力，期待Crane平台的继续持续发展，为更多企业和组织提供更好的服务。

最后的最后，@老板，给您省了这么多钱了！能给我涨多少薪！！哈哈哈～

## 五、参考 ##

安装 kubectl：[https://kubernetes.io/zh-cn/docs/tasks/tools/][https_kubernetes.io_zh-cn_docs_tasks_tools]  
安装 Helm：[https://helm.sh/zh/docs/intro/install/][https_helm.sh_zh_docs_intro_install]  
安装 kind：[https://kind.sigs.k8s.io/docs/user/quick-start/\#installation][https_kind.sigs.k8s.io_docs_user_quick-start_installation]  
开源git：[https://github.com/gocrane/crane][https_github.com_gocrane_crane]

关于腾讯云 Finops Crane 集训营：  
Finops Crane集训营主要面向广大开发者，旨在提升开发者在容器部署、K8s层面的动手实践能力，同时吸纳Crane开源项目贡献者，鼓励开发者提交issue、bug反馈等，并搭载线上直播、动手实验组队、有奖征文等系列技术活动。既能让开发者通过活动对 Finops Crane 开源项目有深入了解，同时也能帮助广大开发者在云原生技能上有实质性收获。  
为奖励开发者，我们特别设立了积分获取任务和对应的积分兑换礼品。

活动介绍送门：[https://marketing.csdn.net/p/038ae30af2357473fc5431b63e4e1a78][https_marketing.csdn.net_p_038ae30af2357473fc5431b63e4e1a78]

开源项目： [https://github.com/gocrane/crane][https_github.com_gocrane_crane]

我是虚竹哥，我们下文见~

[Link 1]: https://xiaoxuzhu.blog.csdn.net/
[acf60f90655a40d1aeba8ebb38cf1058.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/d4467e35d70e45c5844f9f45c326eef3.png
[https_github.com_gocrane_crane]: https://github.com/gocrane/crane
[3a85384d86244e2e98e9990f59f1ab1f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/40034f338fd342e3be91409d9968d8af.png
[4837b99b865b4f21b52f05ba1982e925.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/affbe7ec96cd40a894e5070a2cbb32d2.png
[1f4c043902664f7299145e2fe39d00a6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/63dadf0c33de4a91a3543ea6bcbd59a1.png
[e5e610150df447b8aa6670ecdc60ce57.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/1742194a18da4f128b43bf32927edaba.png
[dedb91bbbc1c48e984593be21f3ec825.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/2044453b183b4d89aaca5eeafa2988c6.png
[aef472a5b2374e6788f84258d3d5b5a4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/1e44a0f77a524f5aae076fa857ea286e.png
[Link 2]: https://github.com/helm/helm/releases
[fc8bffc64f2c4fde882a5732ca9d072c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/df691aba439341c6b82d2ae1deb2222d.png
[2f54515724024181b5a088a8a32ffbd5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/bec50774336f480388401f6dd9bbae57.png
[5472f7dee6f14817b7da7abdb86f4c44.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/7b6b94729830406fbc0ee1e29e66c5f6.png
[ea8ae12053ed4bcbb0afd6309a8eafd9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/236c68a3851d40e899099d8722bd937b.png
[Link 3]: http://mirrors.aliyun.com/docker-toolbox/mac/docker-for-mac/
[d5f23a97ebce4a9f971766b95ca9d31e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/2593d0c17837402aa532c43af870c1aa.png
[f445d82454a14d7388ddedb485998dcc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/e22cb254f0f143c4a40b37201142bb93.png
[Link 4]: https://cr.console.aliyun.com/cn-beijing/instances/mirrors
[e59b7e6330794833a58e306d16af04e2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/1445a65449f04260af8d726b332d4e6d.png
[cd331e5b780c47c48b71bc9181885b10.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/1b1bc16658f74e038a8e50c06bfeda61.png
[f90ee89c1e8e4c32a4440a48d4916891.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/937ebb042a0042ffa19d5dbff2204d3a.png
[6d8c55a5ffca49df9b8c77b06360e75e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/8a8f76eb147d40e78fd728e9cacc16a8.png
[76d1b6107dab4282a5881a3e5f2a9fd6.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/d88526ee4084405686ca5844f93670ec.png
[12c810f049944508b9ddbd84ffb367f5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/b992c2ed5a304c51936828fc31f5c015.png
[0c29a6055c534126943567c7ff75f263.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/2c631c7eb3eb4715b1c41fe00d1ea066.png
[c367b9992b1a4f1c854cb6f9cb86de6f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/1b81a3a869e44fa2a744fd060753482c.png
[37b80230bbb54f619c966ab754e50d64.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/f10b8d41c18f4489a448cb72bf812455.png
[3f679996cb9f49dea130d55b9bef3629.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/dab6592e01d24baa803d750c6bee2a5a.png
[08a629e68c7e4d3691a2444d3b12ebc9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/6cf0e2dd3f464927a2eed0331b3fd876.png
[e4a6dac56f5d4ff1931a111b5b1ac1c8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/82b404de437b4945b1ec855b3aa8c189.png
[8363dec6be7848b380126a08e5192dd2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/058aee07bdd749999b7ba4dab0ab4fa7.png
[7e5a05482f7b4682a18bba9c1056d957.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/a50c27d87b3c41dcb399cdd965fbe1a4.png
[578065156ea64f2faf44a5ef11b9746f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/8cb88526f7264a208e4c306b93592b4b.png
[edae964450bd4da592a616a31624e451.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/af6875582aa74f0688811665e5fc39b2.png
[680caff34b4c4c5287d2daa9f6a57945.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/c308a5efbfb74499bd995beecb2b9008.png
[a51b6527d0814a5ca5626a9a3f56c841.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/ba0ffb16ab7d4371a5364293b459e78e.png
[75b5ea1a5f5941c8bb75f7e5b848d21d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/73f57f66b5f74902ac39625f99318f17.png
[d78a949bc7734381abf5bdb3ebdf562f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/0ad047ec24384ca497bafe5a9aba261d.png
[6b8133e0280d4a618237a0ad1ce4df0f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/c4a3526fccf74ba39b5672cd7a6e6dd5.png
[13fe6c69c3664f5899d2e26096c4e590.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/efdde222b7ab45fd93ca4d998b10d79f.png
[8e462ac8db88418398f5871a687e0daf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/235f990aa97845e087e39232cb3d034f.png
[f0b71ce32ad44972b862745a3f171b19.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/06a8c638124d45c6938fd8ecf226dee1.png
[7d16c50b4b294bde920934c9175075f7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/24/a9093c7338794888b9548400e42b2bfe.png
[https_kubernetes.io_zh-cn_docs_tasks_tools]: https://kubernetes.io/zh-cn/docs/tasks/tools/
[https_helm.sh_zh_docs_intro_install]: https://helm.sh/zh/docs/intro/install/
[https_kind.sigs.k8s.io_docs_user_quick-start_installation]: https://kind.sigs.k8s.io/docs/user/quick-start/#installation
[https_marketing.csdn.net_p_038ae30af2357473fc5431b63e4e1a78]: https://marketing.csdn.net/p/038ae30af2357473fc5431b63e4e1a78