istio部署模型-单集群或者多集群

r囧r小猫 2022-12-13 04:24 158阅读 0赞

# Istio的部署模型介绍 #

## 部署模型 ##

当配置一个生产级别的Istio时，需要解决一些问题：如网格是单集群使用，还是跨集群使用？所有的服务会放到一个完全可达的网络中，还是需要网关来连接跨网络的服务？使用一个控制面(可能会跨集群共享一个控制面)，还是使用多个控制面来实现高可用(HA)？所有的集群都连接到一个多集群服务网格，还是联合成一个多网格形态。

所有这些问题，以及他外因素，都代表了Istio部署的各个配置维度。

1.  单集群或多集群
2.  单网络或多网络
3.  单控制面或多控制面
4.  单网格或多网格

上述条件可以任意组合(虽然有些组合相比其他更加普遍，有些则不那么受欢迎，如单集群中的多网格场景)。

在一个涉及多集群的生产环境中，可以混合使用部署模型。例如，可以使用多个控制面来做到HA。在一个3集群环境中，可以将两个集群共享一个控制面，然后给第三个集群在不同的网络中添加另外一个控制面。然后配置三个集群共享各自的控制面，这样所有的集群就可以使用2个控制面来做到HA。

实际使用中，需要根据隔离性，性能，以及HA要求来选择合适的部署模型。本章将描述部署Istio时的各种选择和考量。

### 集群模式 ###

该模式下，应用的负载会运行在多个集群中。为了隔离，性能或高可用，可以限定集群的可用zone和region。

取决于具体要求，生产系统可以跨多个zone或region的多个集群运行，利用云负载均衡器来处理诸如本地性，zonal 或regional故障转移之类的事情。

大多数场景下，集群表示配置和终端发现的边界。例如，每个kubernetes集群都有一个API Server来管理集群的配置，以及提供服务终端的信息，如pod的启停等。由于kubernetes的这种配置行为是基于单个集群的，因此会将潜在的错误(如配置错误)限制在其所在的集群中。

使用Istio可以在任意个集群上配置一个服务网格。

#### 单集群 ####

在最简单的场景中，可以在单个集群中部署单Istio网格。一个集群通常会运行在一个独立的网络中，但具体取决于基础设施提供商。包含一个网络的单集群模型会包含一个控制面，这就是istio最简单的部署模型：

![format_png][]

单集群的部署比较简单，但同时也缺少一些特性，如故障隔离和转移。如果需要高可用，则应该使用多集群模式。

#### 多集群 ####

一个网格可以包含多个集群。使用多集群部署可以在一个网格中提供如下功能。

*  故障隔离和转移：当`cluster-1`宕机后，使用`cluster-2`
 *  位置感知路由和故障转移：发送请求到最近的服务
 *  多种控制面模型：支持不同级别的可用性。
 *  团队和项目隔离：每个团队运行各自的集群

![format_png 1][]

多集群部署提供了更大的隔离性和可靠性，但同时也增加了复杂性。如果系统需要高可用，则集群可能会跨多个zone和region。

可以通过金丝雀配置来在单个集群中修改或使用新的二进制版本，这样配置变更仅会影响一小部分的用户流量。如果一个集群出现问题，可以临时把流量路由到临近的集群(直到问题解决)。

此外，可以根据网络和云提供商支持的选项配置集群间的通信。例如，如果两个集群使用了相同的底层网络，那么就可以通过简单的防火墙规则实现集群间的通信。

### 网络模型 ###

很多生产系统需要多个网络或子网来实现隔离和高可用。Istio支持将一个服务网格部署到多种类型的网络拓扑中。通过这种方式选择符合现有网络拓扑的网络模型。

#### 单网络 ####

在最简单场景下，服务网格会运行在一个完全连接的网络上，在单网络模型下，所有的负载示例能够在没有Istio网格的情况下实现互联。

单个网络使Istio能够在网格中以统一的方式配置服务使用者，并具有直接处理工作负载实例的能力。

![format_png 2][]

#### 多网络 ####

多网络提供了如下新功能：

*  为**service endpoints**提供了可交叉的IP或VIP
 *  跨边界
 *  容错功能
 *  扩展网络地址
 *  符合网络分段的标准

这种模式下，不同网络中的负载实例只能通过一个或多个Istio网关进行互联。Istio使用分区服务发现来为使用者提供service endpoints的不同视图。视图取决于使用者的网络。

![format_png 3][]

### 控制面模型 ###

Istio网格使用控制面来配置网格内负载实例之间的通信。通过复制控制面，工作负载可以连接到任何控制面来获取配置。

最简单的场景下，可在单集群中运行网格的控制面：

![format_png 4][]

像这样具有自己的本地控制平面的集群被称为主集群。

多集群部署可以共享相同的控制面实例。这种情况下，控制面实例可以位于一个或多个主集群中。没有自己的控制面的集群称为远端集群。

![format_png 5][]

一个完全由远程集群组成的服务网格可以通过外部控制面进行控制，而不需要通过运行在主集群中的控制面进行控制。通过这种方式将istio在管理上进行了隔离，即将控制面和数据面服务进行了完全分割。

![format_png 6][]

> 云提供商的`Managed Control Plane`实际上就是一个外部控制面。

为了高可用，控制面可能需要跨多集群，zone和region来部署。下图中的服务网格在每个region中都使用了一个控制面。

![format_png 7][]

使用上述模型具有如下优势：

*  提升可用性：如果一个控制面不可用，停机的范围将仅限于该控制平面
 *  配置隔离：可以修改一个集群，zone或region中的配置，而不会影响另外一个控制面的配置。

可以通过故障转移来提升控制面的可靠性。当一个控制面实例变为不可用时，负载实例可以连接到其他可用的控制面实例上。集群，zone和region中都可能发生故障迁移。下图可以看到，当左侧的控制面出问题后，由右侧的控制面托管了Envoy代理(虚线)。

![format_png 8][]

以下列表按可用性对控制平面的部署进行了排序：

*  每个region一个集群(低可用性)
 *  每个region多集群
 *  一个zone一个集群
 *  一个zone多个集群
 *  每个集群一个控制面(高可用性)

### 身份和信任模型 ###

当在一个服务网格中创建负载实例时，istio会赋予该负载一个身份。

CA( *certificate authority*)会为网格中使用的身份创建和颁发证书，后续就可以使用CA为该身份创建和颁发证书时使用的公钥对消息发送端进行校验。**trust bundle**是Istio网格使用的所有CA公钥的**集合**。任何人都可以使用网格的trust bundle校验来自网格的服务。

#### 网格中的信任 ####

在单istio网格中，istio保证每个负载实例都有一个标识其身份的证书，使用trust bundle来识别网格和联邦网格中的所有身份。CA仅负责为这些身份创建和签发证书。该模型允许网格中的负载实例互联。下图展示了一个具有 *certificate authority*的服务网格。

![format_png 9][]

#### 网格之间的信任 ####

如果一个网格中的服务需要调用另外一个网格中的服务，此时需要在两个网格之间使用联邦身份。为了实现联邦身份的信任，需要交换网格的trust buncles(可以通过手动或自动方式，如SPIFFE Trust Domain Federation来交换trust bundles)

![format_png 10][]

### 网格模型 ###

Istio支持在一个网格或联邦网格(也被称为多网格)中部署所有的应用。

#### 单网格 ####

单网格是部署Istio的最简单的方式。在一个网格中，服务名是唯一的。例如，一个`foo`命名空间中，只能存在一个名为`mysvc`的服务。此外，负载实例共享同一个身份service account，因为该资源在命名空间内是唯一的。

单网格可以部署在一个或多个集群中，以及一个或多个网络上。在一个网格中，命名空间用于tenancy(见下)。

#### 多网格 ####

多网格是网格联邦的结果。

多网格提供了如下功能：

*  组织边界：业务线
 *  重用服务名称或命名空间：例如`default`命名空间可以用于多种用途
 *  强隔离：将测试负载和生产负载进行隔离。

可以使用中间网格来连接网格联邦。当使用联邦时，每个网格都可以暴露一组所有参与的网格都能识别的服务和身份。

![format_png 11][]

为了避免服务名冲突，可以给每个网格分配一个全局唯一的网格ID，来保证每个服务的fully qualified domain name (FQDN)是有效的。

当联邦中两个网格没有使用相同的信任域时，必须对这两个网格的身份和**trust bundles**进行联邦。查看Multiple Trust Domains。

### 租户模式 ###

在Istio中，租户是一个共享用户组，共享一组已部署的工作负载的访问权限和特权。通常需要从网络配置和策略层面来为不同的租户隔离负载实例。

可以配置租户模式来满足组织的隔离需求：

*  安全
 *  策略
 *  容量
 *  成本
 *  性能

Istio支持两种类型的租户：

*  Namespace tenancy
 *  Cluster tenancy

#### Namespace tenancy ####

在一个网格中，Istio使用命名空间作为租户的单位。Istio也可以运行在没有实现命名空间租户的环境中。在实现命名空间租户的环境中，可以保证仅允许一个团队将负载部署在一个给定的命名空间或一组命名空间中。默认情况下，多个租户命名空间中的服务都可以互联。

![format_png 12][]

为了提升隔离性，可以选择暴露到其他命名空间中的服务。通过授权策略来暴露服务或限制访问。

![format_png 13][]

当使用多集群时，每个集群中的相同名称的命名空间被看作是相同的命名空间。例如，`cluster-1`中的`foo`命名空间中的`Service B`，以及`cluster-2`中的`foo`命名空间中的`Service B`被认为是相同的服务，且Istio会在服务发现时合并endpoints，并在这些endpoints间执行负载均衡。下图展示了具有相同命名空间的两个集群

![format_png 14][]

#### Cluster tenancy ####

Istio支持以集群作为租户的单位。这种情况下，可以给每个团队指定特定的集群或一组集群来部署负载，并授权团队成员。可以给成员分配不同的角色，如：

*  集群管理员
 *  开发人员

为了在Istio中使用集群租户，需要将每个集群作为独立的网格。此外，可以使用Istio将一组集群作为单租户。这样每个团队就可以拥有一个或多个集群，而不是将所有的集群配置为单网格。为了连接不同团队的网格，可以将这些将这些网格联邦为多网格。下图展示了使用两个集群和命名空间来隔离服务网格。

![format_png 15][]

由于网格由不同的团队或组织进行操作，因此服务命名很少会不同。例如，`cluster-1`的`foo`命名空间中的`mysvc`和`cluster-2`的`foo`命名空间中的`mysvc`服务并不是相同的服务。最常见的示例是Kubernetes中的场景，许多团队将工作负载部署到`default`命名空间。

当每个团队都有各自的网格后，就可以使用多网格模型跨网格进行通信。

## 性能和可靠性 ##

Istio使用丰富的路由，负载均衡，服务到服务的认证，监控等简化了部署服务的网络，且不需要修改应用代码。Istio力争使用最少的资源开销来提供这些便利，以及在增加最小的延迟下支撑更大规模的网格和更高的请求率。

Istio数据面组件，Envoy代理会处理流经系统的数据。Istio的控制面组件，Pilot，Galley和Citadel来配置数据面。数据面和控制面都有明显的性能问题。

### 1.7的性能摘要 ###

Istio负载测试网格包含1000个服务和2000个sidecar，每秒70000个网格范围的请求。在对Istio1.7测试之后，得出如下结果：

*  在每秒有1000个请求经过代理时，Envoy代理会使用**0.5 vCPU** 和**50 MB**内存
 *  如果部署时使用了Mixer，在每秒有1000个网格范围的请求时，`istio-telemetry`服务会使用**0.6 vCPU**
 *  Pilot使用**1 vCPU** 和1.5 GB内存
 *  Envoy代理对90％的延迟增加了3.12毫秒。

### 控制面性能 ###

Pilot会根据用户的配置文件和系统的当前状态配置sidecar代理。在Kubernetes环境中，CRD和deployment构成了配置和系统状态。Istio配置对象，如gateway和virtual service等提供了用户可编辑的配置。为了生成代理的配置，Pilot处理来自Kubernetes环境和用户配置的组合配置以及系统状态。

控制平面支持成千上万的服务，这些服务分布在成千上万个Pod中，并使用类似数量的由用户编写的virtual services和其他配置对象。Pilot的CPU和内存会随着配置数据的变化和系统状态而变化。CPU的使用包含如下因素：

*  deployment变化率
 *  配置变化率
 *  连接到Pilot的代理数目

但这部分是支持水平扩展的。

**当启用命名空间租户时，使用1vCPU和1.5GB内存的单个Pilot可以支持1000个服务，2000个sidecar。可以通过增加Pilot的数量来降低配置所有代理的时间。**

### 数据面性能 ###

数据面性能依赖很多因素，如：

*  客户端连接数
 *  目标请求率
 *  请求大小和响应大小
 *  代理worker的线程数
 *  协议
 *  CPU cores
 *  代理过滤器的数目和类型，特别是Mixer的过滤器

延迟，吞吐量以及代理的CPU和内存消耗均根据上述因素进行衡量。

#### CPU和内存 ####

由于sidecar代理会在数据路径上做一些额外的工作，因此会消耗CPU和内存。如Istio 1.1中，在每秒1000个请求的情况下，一个代理会消耗0.6 vCPU。

代理的内存消耗取决于代理保存的总配置状态。大量listeners，clusters和routes可能会增加内存消耗。Istio 1.1引入了命名空间隔离来限制发送到一个代理的配置。在一个大的命名空间中，一个代理大概会消耗50 MB的内存。

由于代理通常不会缓存通过的数据，因此请求率不会影响内存消耗。

> 命名空间的隔离是通过sidecar资源实现的。如何使用可以参见istio-namespace-isolation-tricks。

#### 延迟 ####

由于Istio在数据路径上注入了sidecar代理，因此延迟是一个需要重点考虑的因素。Istio会将身份验证和Mixer过滤器添加到代理，每个额外的过滤器都会增加代理内部的路径长度，并影响到延迟。

Envoy代理会收在客户端接收到响应之后采集原始的遥测数据。对采集请求的遥测数据的时间不会计算在总的完成请求所需要的时间内。但由于worker忙于处理请求，因此worker可能不会立即处理下一个请求。这种处理会增加请求在队列中等待的时间，并影响到平均值和尾部延迟。实际的尾部延迟取决于流量状况。

#### Istio 1.7的延迟 ####

在网格中，请求会通过客户端的代理，然后到达服务端。1.7的默认配置中(即，telemetry V2)，这两个代理在基准数据平面延迟的90百分位和99百分位延迟上分别增加了大约3.12ms 和3.13ms。通过Istio benchmarks的`http/1.1`协议得出如上结论，使用两个代理worker，并启用mutual TLS，通过16个客户端连接来发送每秒1000个请求，每个请求1KB。

在即将发布的Istio版本中，将把Istio策略和Istio遥测功能作为TelemetryV2添加到代理中。通过这种方式来减少流经系统的数据量，从而减少CPU使用量和延迟。

![format_png 16][]

*P90 latency vs client connections without jitter*

*P99 latency vs client connections without jitter*

![format_png 17][]

*P90 latency vs client connections with jitter*

![format_png 18][]

*P99 latency vs client connections with jitter*

*  `baseline` 客户端Pod直接调用服务端Pod，不经过sidecar
 *  `none_both` 使用Istio代理，但不配置Istio过滤器
 *  `v2-stats-wasm_both` 客户端和服务端的sidecar都配置似乎用telemetry v2 `v8`
 *  `v2-stats-nullvm_both` 客户端和服务端的sidecar默认都配置似乎用telemetry v2 `nullvm`
 *  `v2-sd-full-nullvm_both` 使用配置的 telemetry v2 `nullvm`暴露Stackdriver metrics，访问日志
 *  `v2-sd-nologging-nullvm_both` 与上面系统，但不暴露访问日志

#### Benchmarking 工具 ####

Istio使用如下工具来进行benchmarking：

*  `fortio.org` - 恒定吞吐量的负载测试工具
 *  `blueperf` - 真实的云原生应用程序
 *  `isotope` - 具有可配置拓扑的合成应用程序

## Pods 和Services ##

作为网格的一部分，kubernetes的pod和service必须满足如下要求：

*  关联的Service：一个pod必须对应至少一个kubernetes service，即使pod没有暴露任何端口。如果一个pod对应多个kubernetes services，那么这些services无法为不同的协议使用相同的端口号，如HTTP和TCP。
 *  应用的UID：确保pods不能以用户ID (UID)值为1337的身份运行应用程序
 *  **`NET_ADMIN`** 和**`NET_RAW`** **capabilities**：如果集群强制使用pod安全策略，则必须给pod添加 `NET_ADMIN` 和`NET_RAW` capabilities。如果使用了Istio CNI 插件，则可以不遵守该要求。
 *  **Deployments** 使用 **app** 和**version labels**：建议Deployments 使用`app`和`version` labels。`app`和`version` labels会给istio采集的metrics和遥测数据添加上下文信息
 *   *  `app` label：每个deployment应该包含不同的`app` label。`app` label用于在分布式跟踪中添加上下文信息。
     *  `version` label：指定特定deployment对应的应用版本。
 *  命名service端口：可以选择使用命名服务端口来指定协议。更多细节参见Protocol Selection。

### 要求的pod capabilities ###

如果集群使用了pod安全策略，除非使用了Istio CNI插件，否则pod必须允许`NET_ADMIN` 和`NET_RAW` capabilities。Envoy代理的initialization容器会使用这些capabilities。

为了校验pod是否允许`NET_ADMIN` 和`NET_RAW` capabilities，需要校验pod对应的service account是否可以使用pod安全策略来允许`NET_ADMIN` 和`NET_RAW` capabilities。如果没有在pod的deployment中指定service account，那么pod会使用其所在命名空间的`default` service account。

使用如下命令可以列出一个service accout的capabilities，替换`<your namespace>` 和`<your service account>`

# for psp in $(kubectl get psp -o jsonpath="{range .items[*]}{@.metadata.name}{'\n'}{end}"); do if [ $(kubectl auth can-i use psp/$psp --as=system:serviceaccount:<your namespace>:<your service account>) = yes ]; then kubectl get psp/$psp --no-headers -o=custom-columns=NAME:.metadata.name,CAPS:.spec.allowedCapabilities; fi; done

例如可以使用如下命令来校验`default`命名空间中的`default` service account。

# for psp in $(kubectl get psp -o jsonpath="{range .items[*]}{@.metadata.name}{'\n'}{end}"); do if [ $(kubectl auth can-i use psp/$psp --as=system:serviceaccount:default:default) = yes ]; then kubectl get psp/$psp --no-headers -o=custom-columns=NAME:.metadata.name,CAPS:.spec.allowedCapabilities; fi; done

如果在capabilities列表中看到 `NET_ADMIN` 和 `NET_ADMIN` 或`*`，则说明该pod允许运行Isti init容器，否则需要配置权限。

参考：https://www.cnblogs.com/charlieroro/p/13608447.html

## 技术交流 ##

学无止境，了解更多关于kubernetes/docker/devops/openstack/openshift/linux/IaaS/PaaS相关内容，想要获取更多资料和免费视频，可按如下方式进入技术交流群

![format_png 19][]

**微信：**luckylucky421302

## 微信公众号    ##

**                                    ** **长按指纹关注公众号????**

![format_png 20][]

往期精彩文章

[kubernetes全栈技术+企业案例演示【带你快速掌握和使用k8s】][kubernetes_k8s]

[突破运维和开发瓶颈、Python、k8s、DevOps转型一网打尽！][Python_k8s_DevOps]

[python运维开发实战-基础篇  
][python_-_]

[python运维和开发实战-高级篇][python_-]

[python运维和开发实战-安装和创建Django项目][python_-_Django]

[谈谈我的IT发展之路][IT]

[Prometheus+Grafana+Alertmanager搭建全方位的监控告警系统-超详细文档][Prometheus_Grafana_Alertmanager_-]

[k8s1.18多master节点高可用集群安装-超详细中文官方文档][k8s1.18_master_-]

[linux面试题汇总][linux]

[python运维和开发实战-安装和创建Django项目][python_-_Django]

[Docker公司禁止被列入美国"实体名单"的国家、企业使用][Docker]

[Jenkis pipeline构建项目实践-编写podTemplate实现和k8s对接][Jenkis pipeline_-_podTemplate_k8s]

[安装kubernetes集群-灵活安装k8s各个版本高可用集群][kubernetes_-_k8s]

[Kubernetes v1.19 正式发布  
][Kubernetes v1.19 _]

[高效的Nginx负载均衡器][Nginx]

[5个维度对 Kubernetes 集群优化][5_ Kubernetes]

[什么是架构师？][Link 1]

[QPS、TPS、并发用户数、吞吐量关系][QPS_TPS]

[kubernetes面试题汇总][kubernetes]

[DevOps视频和资料免费领取][DevOps]

[kubernetes技术分享-可用于企业内部培训][kubernetes_-]

[谈谈我的IT发展之路][IT]

[kubernetes系列文章第一篇-k8s基本介绍][kubernetes_-k8s]

[kubernetes系列文章第二篇-kubectl][kubernetes_-kubectl]

[了解pod和pod的生命周期-这一篇文章就够了  
][pod_pod_-_]

[Kubernetes中部署MySQL高可用集群][Kubernetes_MySQL]

[k8s中蓝绿部署、金丝雀发布、滚动更新汇总][k8s]

[运维常见问题汇总-tomcat篇][-tomcat]

[关于linux内核参数的调优，你需要知道][linux 1]

[kubernetes挂载ceph rbd和cephfs][kubernetes_ceph rbd_cephfs]

[报警神器Alertmanager发送报警到多个渠道][Alertmanager]

[jenkins+kubernetes+harbor+gitlab构建企业级devops平台][jenkins_kubernetes_harbor_gitlab_devops]

[kubernetes网络插件-flannel篇][kubernetes_-flannel]

[kubernetes网络插件-calico篇][kubernetes_-calico]

[kubernetes认证、授权、准入控制][kubernetes 1]

[限制不同的用户操作k8s资源][k8s 1]

[面试真题&技术资料免费领取-覆盖面超全~][-]

[Prometheus监控MySQL][Prometheus_MySQL]

[Prometheus监控Nginx][Prometheus_Nginx]

[Prometheus监控Tomcat][Prometheus_Tomcat]

[linux面试题汇总][linux]

[测试通过storageclass动态生成pv][storageclass_pv]

[通过编写k8s的资源清单yaml文件部署gitlab服务][k8s_yaml_gitlab]

[helm安装和使用-通过helm部署k8s应用][helm_-_helm_k8s]

[k8s基于Ingress-nginx实现灰度发布][k8s_Ingress-nginx]

[k8s的Pod安全策略][k8s_Pod]

[Prometheus Operator-上篇-安装和使用篇][Prometheus Operator-_-]

[Prometheus Operator-下篇  
][Prometheus Operator-_]

[通过kubeconfig登陆k8s的dashboard ui界面][kubeconfig_k8s_dashboard ui]

[通过token令牌登陆k8s dashboard ui界面][token_k8s dashboard ui]

[kubernetes集群的etcd数据库详细介绍][kubernetes_etcd]

[Linux网络流量监控工具][Linux]

[kubernetes搭建EFK日志管理系统][kubernetes_EFK]

[prometheus operator监控k8s集群之外的haproxy组件][prometheus operator_k8s_haproxy]

[kubernetes ConfigMap存储卷][kubernetes ConfigMap]

[Python采集linux服务器数据在Django Web界面展示][Python_linux_Django Web]

[基于Kubernetes的GPU类型调度实现][Kubernetes_GPU]

[容器日志管理的最佳实践][Link 2]

[Kubernetes 数据库 Etcd 日常运维及技巧][Kubernetes _ Etcd]

[一文详解 LVS、Nginx 及 HAProxy工作原理][LVS_Nginx _ HAProxy]

[一篇文章全面了解运维监控知识体系][Link 3]

[Kubernetes容器云平台技术方案][Kubernetes]

[format_png]: /images/20221123/0391488f42b241eab7f827989bfdcc89.png
[format_png 1]: /images/20221123/5b59dabf3e4d425bac3a927f28d4bb99.png
[format_png 2]: /images/20221123/a35326857ad7448c9ff10984c95e3a4c.png
[format_png 3]: /images/20221123/e1ecd8b620da4c6381d57613fb05890c.png
[format_png 4]: /images/20221123/66d73496d7604fc2be119c4170b48623.png
[format_png 5]: /images/20221123/2cc66a3774c4476bab0726a7b1c46145.png
[format_png 6]: /images/20221123/20752770dc984a878d49269e7cc6b316.png
[format_png 7]: /images/20221123/4e32b01bfdc748ceab5a217143938090.png
[format_png 8]: /images/20221123/6a55da6dd9be43a2bb4d426e2963d5f5.png
[format_png 9]: /images/20221123/05b0f3a6c0cb406b9a7ea65299faeb6a.png
[format_png 10]: /images/20221123/246314bffc6f42c1bb4a72e2b69ae3e2.png
[format_png 11]: /images/20221123/9989a9fbf2c149daab471021cf877bac.png
[format_png 12]: /images/20221123/ecee09a62e3c4e84a956bbf7fedf8765.png
[format_png 13]: /images/20221123/df9b355836fb41b3aae76624d567f26d.png
[format_png 14]: /images/20221123/93ec005761e24f0fa23f1c2c4321e5e6.png
[format_png 15]: /images/20221123/5eee9f2f3933423aa5b039359e07b3de.png
[format_png 16]: /images/20221123/0005c21f6bbf4ca8a0240b742fc2c22c.png
[format_png 17]: /images/20221123/eea60640f8ea4c2594818cf5ae29ccbb.png
[format_png 18]: /images/20221123/afe7d67665574eefb04fcc46988d3775.png
[format_png 19]: /images/20221123/9a9e704f387743b8a166624cc97b3a5e.png
[format_png 20]: /images/20221123/e7ba83be9763463b9f1da82662fb5195.png
[kubernetes_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638a31cc14032772d778f1a8fa5dc73f9aba6c99546c9ab25d9f91f706be3cff34572f0c1a&idx=1&mid=2247484708&scene=21&sn=2a7230ade0ce0bd9059e92752e03ba18#wechat_redirect
[Python_k8s_DevOps]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638455cc140d43dd091b09efc0c744b82f32d905c78ce9be71aae8c6d324d625f110fa1093&idx=1&mid=2247486272&scene=21&sn=e993bc259db899b79922863859d24bb2#wechat_redirect
[python_-_]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63855acc140c4cf0346cc3433bc874e7cd37a5b17cf5254147a1b20b538cf70158f2234b0f&idx=1&mid=2247486031&scene=21&sn=58003addbf36f2858f7d0dfbf887bb2a#wechat_redirect
[python_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6385eccc140cfa90bef6759c768c94ac2ca904c827fb2dcd969858ba46b818145e76e09c62&idx=1&mid=2247486201&scene=21&sn=0d45a2660a7480d73cf72ba67fe52f3a#wechat_redirect
[python_-_Django]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638417cc140d011a058d7cf83795bf75cfc327acbb3727c968058ff2807874a26f87843080&idx=1&mid=2247486210&scene=21&sn=078e172a34c22e5db1f57b17c21b2efe#wechat_redirect
[IT]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c29cc14053fafcb62be244f5a279052b8d159c9c530e73495cfd8ab97205988780d4aaa&idx=1&mid=2247484220&scene=21&sn=72ae437836108fbecbeb86752aad888c#wechat_redirect
[Prometheus_Grafana_Alertmanager_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b08cc14021e5e025f2f0b89d18ec5ef19f9dec4429a56f356e8b596d01095e313dab3e3&idx=1&mid=2247484445&scene=21&sn=bf8928e7aae815b8e7f9ac56a67289ce#wechat_redirect
[k8s1.18_master_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c7dcc14056b9f0261e05e4d36a057c4511fb5806222f71b7965c3573fed86672b2c93b7&idx=1&mid=2247484264&scene=21&sn=4d74de0cb117c07ba7c73ea21c42bf94#wechat_redirect
[linux]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0dede5f49c878898e04329f08d8adf554397476283aaa3f2554f71a8bf20986755fbcc9&idx=1&mid=2247483668&scene=21&sn=a7d0768b7eb034ef2e2f23e25b1b1845#wechat_redirect
[Docker]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63841ecc140d08e72aa244da69b776d4470aac79f3d03610c5fec827ac24a2048178204bf0&idx=1&mid=2247486219&scene=21&sn=31fe60b84f327ac1cc24bdb98ccba6a6#wechat_redirect
[Jenkis pipeline_-_podTemplate_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638472cc140d64ef12e6fff56dfa0aea54e016940494de9293f6727a8a39e61c427e206c35&idx=1&mid=2247486311&scene=21&sn=eb4be92fc95162e7a4d44c08521c7631#wechat_redirect
[kubernetes_-_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6384b8cc140dae0e6efba75100e29549cc440a010a5c7976bdd313e9c6139569b197e20a8f&idx=1&mid=2247486381&scene=21&sn=f07ae730cdc3ca2442462e0c7f2caed1#wechat_redirect
[Kubernetes v1.19 _]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6384a2cc140db49957616305e55d7abb842f0a46aa7344b1d1801acfba73adbb0b389a8200&idx=1&mid=2247486391&scene=21&sn=692b1e9d5df3afe2ea639ae969c5e091#wechat_redirect
[Nginx]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383bccc140aaa8e044e9b56c8cd5ca63c1470b7d88625b8d6d8c1828f16a42f7c61e9e6c9&idx=1&mid=2247486633&scene=21&sn=317a4a096e4a17491d8b5fa1eeb5d7d2#wechat_redirect
[5_ Kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383aecc140ab8050df002d52f6063e85ad2777f4ec0941c9d40ea49c50c11f23542f43dfc&idx=1&mid=2247486651&scene=21&sn=2fe1be9d4a335077757c46a36cb1aea2#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383decc140ac88ab1c9da0818ba89b627a96fb5a097a3ec10165c4b41e7f43f6ac562d063&idx=1&mid=2247486667&scene=21&sn=4996d3c4b5653a757256587597709c3d#wechat_redirect
[QPS_TPS]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383d7cc140ac1dc83e4076b5677ea33f6686129dc9154034a41a37f14be2372e89caf3b87&idx=1&mid=2247486658&scene=21&sn=ce78d0e98a572089326043db7e25af9b#wechat_redirect
[kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b9ccc14028a3220533e5e05f81b5b434cdc14f1cb4be6771a8afdb943f7f5f940704c61&idx=1&mid=2247484553&scene=21&sn=141700cdd2e13b87d5b756f8965a30c2#wechat_redirect
[DevOps]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b81cc140297e292675f1e8ea21d3a9f05e01e488e642bcc1113d69d06d0afbd40446c0e&idx=1&mid=2247484564&scene=21&sn=3ec4b58056aec30acf82e84cfd9daa52#wechat_redirect
[kubernetes_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638b4acc14025c10c5b87f75ff8e95c89c97036f1f73250a64e2a829df191c95c34ed5b8b3&idx=1&mid=2247484511&scene=21&sn=7900c5a4eac3535be97315797d42d64b#wechat_redirect
[kubernetes_-k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c42cc1405547ea583833c46878b6c120f5f39fb3746f89a8d2e515d432422b3019ded64&idx=1&mid=2247484247&scene=21&sn=c8986ed491e6c48cb6faab087fe8472c#wechat_redirect
[kubernetes_-kubectl]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638cbacc1405ac390b6c0fc7535e1cc805877a408c5f4a94a7148a47c186a57ff4f0c8ea32&idx=3&mid=2247484335&scene=21&sn=7e5ae586dae2016f6c0f5fcb60dd7317#wechat_redirect
[pod_pod_-_]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c30cc1405263cbd23e3fbe23f9ca9e83c1eb1800216a0e4e26e7c27d4234598def46bb1&idx=1&mid=2247484197&scene=21&sn=36ece95b266609bd769cf6a1fcf9d723#wechat_redirect
[Kubernetes_MySQL]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c73cc1405657ed02b3126423259cb8563c18d268fa7ffd4a516327cd35148ef61d8d762&idx=1&mid=2247484262&scene=21&sn=de970288426cdca05cf6ca0f5df4ff4c#wechat_redirect
[k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c36cc140520e6905db5923afe163d7babb5d9eb6c5e8045a795c37b33a2a2e5541e3efd&idx=1&mid=2247484195&scene=21&sn=b841f2ea305acfa2996a667d4ff4d99e#wechat_redirect
[-tomcat]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c21cc140537d10eeb8b4eb37e1451392123dd74513d704af00506c0576ba11da9907735&idx=1&mid=2247484212&scene=21&sn=923b044e9d2b4e5a612ac7c1307d166c#wechat_redirect
[linux 1]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638c5ecc14054862495a8f77d58d7483c34310839ea3ed93d8b44875a1685b3412d381f23a&idx=1&mid=2247484235&scene=21&sn=12e2e80187dbf217efff6c59da778f7c#wechat_redirect
[kubernetes_ceph rbd_cephfs]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638a07cc140311e6e111b9bb89e3613c495a26b6b496fe97c838787568c72dd1bb23088520&idx=1&mid=2247484690&scene=21&sn=32deb33cef9d91518cd8dea47da073c5#wechat_redirect
[Alertmanager]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638ab7cc1403a1f6b07cbe682548595fe683f1ffdf56d2b4d31382003907a41da1e03c1408&idx=1&mid=2247484834&scene=21&sn=7f407f5a27b03b4757c8892f1b5d6234#wechat_redirect
[jenkins_kubernetes_harbor_gitlab_devops]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638d2fcc14043990967471ba8a2aaf389ab483594fd81395b5afda1c23a9eff4371df6bca4&idx=1&mid=2247483962&scene=21&sn=595eac335f7fb523bbb60cbbede109ca#wechat_redirect
[kubernetes_-flannel]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c005de5f4913b3e81d32cf98dc4f237be04b0c19e02f615650538a9aa0aabdc025604918&idx=1&mid=2247483855&scene=21&sn=26587a359cca53d129ab7e8a7fa394e0#wechat_redirect
[kubernetes_-calico]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c073de5f49658fdaed40affb1a9ea3f059e7df3cc90ae24b194a8698a7f73089d3964cab&idx=1&mid=2247483833&scene=21&sn=c00c2b69db7d06eacaf6206805d2955a#wechat_redirect
[kubernetes 1]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c05fde5f494917570591168d9e71f507c2d124312c51dfdb6cfb30eb03eb48b73a3e0d9b&idx=1&mid=2247483797&scene=21&sn=bc208ee075c41b81ffabaefe509538ba#wechat_redirect
[k8s 1]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0b4de5f49a2eef8cc91afa81095b71eb093e94dce6eddbc7059583e819b1ac51c596ebb&idx=1&mid=2247483774&scene=21&sn=dfc3babde045fe99da9fa168cc9f0595#wechat_redirect
[-]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0bfde5f49a9990c672e4434f5ae7b74004dc1982cc44801c524b58067d9b245e5ba5b71&idx=1&mid=2247483765&scene=21&sn=b8444e82a93535425349b509ded4e4b6#wechat_redirect
[Prometheus_MySQL]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c0aade5f49bc7df29ecb2280ab9e1a8aa905b31e36856bf8dc19b05ef60c5e7be0333b88&idx=1&mid=2247483744&scene=21&sn=1035d73f8cf39caf8534766435497590#wechat_redirect
[Prometheus_Nginx]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c095de5f4983c249b1b556fa6f8f60a0bb6991d2872079a9d5c28ce2ee17b8fc407eeb2c&idx=1&mid=2247483743&scene=21&sn=3ad15cd693685479dc7bf5dd628796d2#wechat_redirect
[Prometheus_Tomcat]: http://mp.weixin.qq.com/s?__biz=MzIzOTQ3NDg1Mw%3D%3D&chksm=e928c086de5f499011eb542c6da8ead32b538c0bf06340ebe56ad439e2649e0b63efbcb4a611&idx=1&mid=2247483724&scene=21&sn=dd390f05270c6ac7a9c2b51fdc22f0ee#wechat_redirect
[storageclass_pv]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638837cc140121578456f6a5d679ae481421f2f3f1d5099bb7f2c56d00174fe61b2016061d&idx=1&mid=2247485218&scene=21&sn=ba698d444a029a2659091bfd81133697#wechat_redirect
[k8s_yaml_gitlab]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638814cc1401028c7ab321d2ac6579f5c6d2b029fadc5687874e41470bf95aa09c01c33d45&idx=1&mid=2247485185&scene=21&sn=2b5646119a008d69948c5a84d3724c95#wechat_redirect
[helm_-_helm_k8s]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638bbbcc1402ad16d4b65b3db26cbd324c85819934077caa41969f0c9d573b71b21e2c51ff&idx=1&mid=2247484590&scene=21&sn=2c23098269c5df1e793aa47198a7b1e6#wechat_redirect
[k8s_Ingress-nginx]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6385fdcc140ceb4a5cf902d24499ce3480f91aa97e0e0c7a1fb12a466865ff2f8dedc8be0c&idx=1&mid=2247486184&scene=21&sn=cccb2bc67ca74a01be7b4f79e05f8bec#wechat_redirect
[k8s_Pod]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6385c3cc140cd57c41dcdd267f2bc0f0f6476d3a56e1fa88b23a7ad3f82799bad72cbdde93&idx=1&mid=2247486166&scene=21&sn=a40899007709d1a1f3e7b5be79ed6e49#wechat_redirect
[Prometheus Operator-_-]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638626cc140f30c8d35e45239e6b559f7369b8c58bacd157a24e7b62313c826baec75f299f&idx=2&mid=2247485747&scene=21&sn=3da14a91d75f745b26c3aa8d10361d23#wechat_redirect
[Prometheus Operator-_]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63865bcc140f4d8966d1c3745c8f69c6384337c43a1a8eda6e1ae488bd78f08e44c9553b19&idx=1&mid=2247485774&scene=21&sn=1b0301dadc4b737e19b1066219813db7#wechat_redirect
[kubeconfig_k8s_dashboard ui]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638679cc140f6f4e024f2e7739b995fc235b6f4e97983a583bc9c7e82da88cf0fbf8736fe7&idx=1&mid=2247485804&scene=21&sn=c157f0596f130bd97ec745b278546c50#wechat_redirect
[token_k8s dashboard ui]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638687cc140f918f04ca60ed188da26cd3ab37a79e6fdbf64531efd11ae60dac0a77788f7c&idx=2&mid=2247485842&scene=21&sn=163174142218e8dca3bb9a94ed173694#wechat_redirect
[kubernetes_etcd]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63853bcc140c2d4c4da1b59a4865c193383392d92075cee80530866892d8a2a365e2b4e565&idx=1&mid=2247485998&scene=21&sn=9889882d1820ac005e5512eccb67c0f1#wechat_redirect
[Linux]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638538cc140c2e581b8c673a9c529359042a2262ec112f8c3476c7408f25e04856f0b37bbd&idx=2&mid=2247485997&scene=21&sn=ac694beaf60cbf18d133eb6ebbc7a345#wechat_redirect
[kubernetes_EFK]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63851fcc140c09d17fe6e270524da6c3ec3c5f3969f6f4f61a54c54724168801d93b2cda9d&idx=1&mid=2247485962&scene=21&sn=87dfde054f2ff489a1ffd28dfe02a435#wechat_redirect
[prometheus operator_k8s_haproxy]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6386f0cc140fe6dea923cb07c2164db1c894c87d8c85d828aa269cdf4ae2d92eeb201adb67&idx=1&mid=2247485925&scene=21&sn=5ae9bc969963775e347c3a1f279d541c#wechat_redirect
[kubernetes ConfigMap]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63853acc140c2ca1dc3ca813b133ca7158c34df5cfe59cebf7621851ead91490eaabc74a1b&idx=1&mid=2247485999&scene=21&sn=f6b03745426149e498a8c7065b060e24#wechat_redirect
[Python_linux_Django Web]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383e6cc140af0af9c2a453a58136f4388d9ba5c919adac3dee007ba407a8b28828928f37e&idx=1&mid=2247486707&scene=21&sn=d5ce76030b250c465e273708ace5792f#wechat_redirect
[Kubernetes_GPU]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb6383c6cc140ad0da77716ce494f5e22c64d7702476fc2da4cfe1e020dd7f1740b720a43112&idx=1&mid=2247486675&scene=21&sn=6068f91ac5c527db28b98ebd0faf8bff#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638219cc140b0fbcd0337952428804a328eff8e65bbe32804ba81793ee54c7224f04ddfaab&idx=1&mid=2247486732&scene=21&sn=05d84ed332ea0750cd7e2f9fa342ec85#wechat_redirect
[Kubernetes _ Etcd]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63820fcc140b19133c25d97c691b873374bb10351074901487a154210d4c3d57ea02ea4d2a&idx=1&mid=2247486746&scene=21&sn=8e920e44e5e7219cec752f5ee103f17d#wechat_redirect
[LVS_Nginx _ HAProxy]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63825fcc140b49bb429e7c4bd29eabb792c1a8088ec069d2e9d7550d5d06a5a6f1b2d0720f&idx=1&mid=2247486794&scene=21&sn=d82096ee264c1d70b93aeada191840aa#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb638266cc140b7041d5a32907ecaa52b5c5b6eedb4ab93b02ffe090c43bb7aad4fd12997fe9&idx=1&mid=2247486835&scene=21&sn=3b61830d0f038ee35d4a8aed626304fb#wechat_redirect
[Kubernetes]: http://mp.weixin.qq.com/s?__biz=MzU0NjEwMTg4Mg%3D%3D&chksm=fb63829fcc140b893000b593bdf1dfa2eaddabe9bb686db523589709abb2b78ae35dbcb58136&idx=1&mid=2247486858&scene=21&sn=3f3568553159e34533134621b4feb0a3#wechat_redirect