client-go实战之四：dynamicClient

小咪咪 2022-10-29 10:24 7阅读 0赞

### 欢迎访问我的GitHub ###

> 这里分类和汇总了欣宸的全部原创(含配套源码)：[https://github.com/zq2599/blog\_demos][https_github.com_zq2599_blog_demos]

### 系列文章链接 ###

1.  [client-go实战之一：准备工作][client-go]
2.  [client-go实战之二:RESTClient][client-go_RESTClient]
3.  [client-go实战之三：Clientset][client-go_Clientset]
4.  [client-go实战之四：dynamicClient][client-go_dynamicClient]
5.  [client-go实战之五：DiscoveryClient][client-go_DiscoveryClient]

### 本篇概览 ###

*  本文是《client-go实战》系列的第四篇，前文咱们学习了Clientset客户端，发现Clientset在deployment、service这些kubernetes内置资源的时候是很方便的，每个资源都有其专属的方法，配合官方API文档和数据结构定义，开发起来比Restclient高效；
 *  但如果要处理的不是kubernetes的内置资源呢？比如CRD，Clientset的代码中可没有用户自定义的东西，显然就用不上Clientset了，此时本篇的主角dynamicClient就要登场啦！

### 相关知识储备 ###

*  在正式学习dynamicClient之前，有两个重要的知识点需要了解：Object.runtime和Unstructured，对于整个kubernetes来说它们都是非常重要的；

### Object.runtime ###

*  聊Object.runtime之前先要明确两个概念：资源和资源对象，关于资源大家都很熟悉了，pod、deployment这些不都是资源嘛，个人的理解是资源更像一个严格的定义，当您在kubernetes中创建了一个deployment之后，这个新建的deployment实例就是资源对象了；
 *  在kubernetes的代码世界中，资源对象对应着具体的数据结构，这些数据结构都实现了同一个接口，名为Object.runtime，源码位置是staging/src/k8s.io/apimachinery/pkg/runtime/interfaces.go，定义如下：

type Object interface { 
    	GetObjectKind() schema.ObjectKind
    	DeepCopyObject() Object
    }

*  DeepCopyObject方法顾名思义，就是深拷贝，也就是将内存中的对象克隆出一个新的对象；
 *  至于GetObjectKind方法的作用，相信聪明的您也猜到了：处理Object.runtime类型的变量时，只要调用其GetObjectKind方法就知道它的具体身份了（如deployment，service等）；
 *  最后再次强调：资源对象都是Object.runtime的实现；

### Unstructured ###

*  在聊Unstructured之前，先看一个简单的JSON字符串：

{ 
    	"id": 101,
    	"name": "Tom"
    }

*  上述JSON的字段名称和字段值类型都是固定的，因此可以针对性编写一个数据结构来处理它：

type Person struct { 
    	ID int
    	Name String
    }

*  对于上面的JSON字符串就是结构化数据（Structured Data），这个应该好理解；
 *  与结构化数据相对的就是非结构化数据了（Unstructured Data），在实际的kubernetes环境中，可能会遇到一些无法预知结构的数据，例如前面的JSON字符串中还有第三个字段，字段值的具体内容和类型在编码时并不知晓，而是在真正运行的时候才知道，那么在编码时如何处理呢？相信您会想到用interface\{\}来表示，实际上client-go也是这么做的，来看Unstructured数据结构的源码，路径是staging/src/k8s.io/apimachinery/pkg/apis/meta/v1/unstructured/unstructured.go：

type Unstructured struct { 
    	// Object is a JSON compatible map with string, float, int, bool, []interface{}, or
    	// map[string]interface{}
    	// children.
    	Object map[string]interface{ }
    }

*  显然，上述数据结构定义并不能发挥什么作用，真正重要的是关联的方法，如下图，可见client-go已经为Unstructured准备了丰富的方法，借助这些方法可以灵活的处理非结构化数据：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70]

### 重要知识点：Unstructured与资源对象的相互转换 ###

*  另外还有一个非常重要的知识点：可以用Unstructured实例生成资源对象，也可以用资源对象生成Unstructured实例，这个神奇的能力是unstructuredConverter的FromUnstructured和ToUnstructured方法分别实现的，下面的代码片段展示了如何将Unstructured实例转为PodList实例：

// 实例化一个PodList数据结构，用于接收从unstructObj转换后的结果
    podList := &apiv1.PodList{ }
    
    // unstructObj
    err = runtime.DefaultUnstructuredConverter.FromUnstructured(unstructObj.UnstructuredContent(), podList)

*  您可能会好奇上述FromUnstructured方法究竟是如何实现转换的，咱们去看下此方法的内部实现，如下图所示，其实也没啥悬念了，通过反射可以得到podList的字段信息：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 1]
 *  至此，Unstructured的分析就结束了吗？没有，强烈推荐您进入上图红框2中的fromUnstructured方法去看细节，这里面是非常精彩的，以podList为例，这是个数据结构，而fromUnstructured只处理原始类型，对于数据结构会调用structFromUnstructured方法处理，在structFromUnstructured方法中  
    处理数据结构的每个字段，又会调用fromUnstructured，这是相互迭代的过程，最终，不论podList中有多少数据结构的嵌套都会被处理掉，篇幅所限就不展开相信分析了，下图是一部分关键代码：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 2]
 *  小结：Unstructured转为资源对象的套路并不神秘，无非是用反射取得资源对象的字段类型，然后按照字段名去Unstructured的map中取得原始数据，再用反射设置到资源对象的字段中即可；
 *  做完了准备工作，接下来该回到本篇文章的主题了：dynamicClient客户端

### 关于dynamicClient ###

*  deployment、pod这些资源，其数据结构是明确的固定的，可以精确对应到Clientset中的数据结构和方法，但是对于CRD（用户自定义资源），Clientset客户端就无能为力了，此时需要有一种数据结构来承载资源对象的数据，也要有对应的方法来处理这些数据；
 *  此刻，前面提到的Unstructured可以登场了，没错，把Clientset不支持的资源对象交给Unstructured来承载，接下来看看dynamicClient和Unstructured的关系：
 *  先看数据结构定义，和clientset没啥区别，只有个restClient字段：

type dynamicClient struct { 
    	client *rest.RESTClient
    }

*  这个数据结构只有一个关联方法Resource，入参为GVR，返回的是另一个数据结构dynamicResourceClient：

func (c *dynamicClient) Resource(resource schema.GroupVersionResource) NamespaceableResourceInterface { 
    	return &dynamicResourceClient{ client: c, resource: resource}
    }

*  通过上述代码可知，dynamicClient的关键是数据结构dynamicResourceClient及其关联方法，来看看这个dynamicResourceClient，如下图，果然，dynamicClient所有和资源相关的操作都是dynamicResourceClient在做（代理模式？），选了create方法细看，序列化和反序列化都交给unstructured的UnstructuredJSONScheme，与kubernetes的交互交给Restclient：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 3]
 *  小结：

1.  与Clientset不同，dynamicClient为各种类型的资源都提供统一的操作API，资源需要包装为Unstructured数据结构；
2.  内部使用了Restclient与kubernetes交互；

*  对dynamicClient的介绍分析就这些吧，可以开始实战了；

### 需求确认 ###

*  本次编码实战的需求很简单：查询指定namespace下的所有pod，然后在控制台打印出来，要求用dynamicClient实现；
 *  您可能会问：pod是kubernetes的内置资源，更适合Clientset来操作，而dynamicClient更适合处理CRD不是么？—您说得没错，这里用pod是因为折腾CRD太麻烦了，定义好了还要在kubernetes上发布，于是干脆用pod来代替CRD，反正dynamicClient都能处理，咱们通过实战掌握dynamicClient的用法就行了，以后遇到各种资源都能处理之；

### 源码下载 ###

*  本篇实战中的源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog\_demos)：

<table> 
 <thead> 
  <tr> 
   <th align="left">名称</th> 
   <th align="left">链接</th> 
   <th align="left">备注</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">项目主页</td> 
   <td align="left">https://github.com/zq2599/blog_demos</td> 
   <td align="left">该项目在GitHub上的主页</td> 
  </tr> 
  <tr> 
   <td align="left">git仓库地址(https)</td> 
   <td align="left">https://github.com/zq2599/blog_demos.git</td> 
   <td align="left">该项目源码的仓库地址，https协议</td> 
  </tr> 
  <tr> 
   <td align="left">git仓库地址(ssh)</td> 
   <td align="left">git@github.com:zq2599/blog_demos.git</td> 
   <td align="left">该项目源码的仓库地址，ssh协议</td> 
  </tr> 
 </tbody> 
</table>

*  这个git项目中有多个文件夹，client-go相关的应用在client-go-tutorials文件夹下，如下图红框所示：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 4]
 *  client-go-tutorials文件夹下有多个子文件夹，本篇对应的源码在dynamicclientdemo目录下，如下图红框所示：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 5]

### 编码 ###

*  新建文件夹dynamicclientdemo，在里面执行以下命令，新建module：

go mod init dynamicclientdemo

*  添加k8s.io/api和k8s.io/client-go这两个依赖，注意版本要匹配kubernetes环境：

go get k8s.io/api@v0.20.0
    go get k8s.io/client-go@v0.20.0

*  新建main.go，内容如下，稍后会说一下要注意的重点：

package main
    
    import (
    	"context"
    	"flag"
    	"fmt"
    	apiv1 "k8s.io/api/core/v1"
    	metav1 "k8s.io/apimachinery/pkg/apis/meta/v1"
    	"k8s.io/apimachinery/pkg/runtime"
    	"k8s.io/apimachinery/pkg/runtime/schema"
    	"k8s.io/client-go/dynamic"
    	"k8s.io/client-go/tools/clientcmd"
    	"k8s.io/client-go/util/homedir"
    	"path/filepath"
    )
    
    func main() { 
    
    	var kubeconfig *string
    
    	// home是家目录，如果能取得家目录的值，就可以用来做默认值
    	if home:=homedir.HomeDir(); home != "" { 
    		// 如果输入了kubeconfig参数，该参数的值就是kubeconfig文件的绝对路径，
    		// 如果没有输入kubeconfig参数，就用默认路径~/.kube/config
    		kubeconfig = flag.String("kubeconfig", filepath.Join(home, ".kube", "config"), "(optional) absolute path to the kubeconfig file")
    	} else { 
    		// 如果取不到当前用户的家目录，就没办法设置kubeconfig的默认目录了，只能从入参中取
    		kubeconfig = flag.String("kubeconfig", "", "absolute path to the kubeconfig file")
    	}
    
    	flag.Parse()
    
    	// 从本机加载kubeconfig配置文件，因此第一个参数为空字符串
    	config, err := clientcmd.BuildConfigFromFlags("", *kubeconfig)
    
    	// kubeconfig加载失败就直接退出了
    	if err != nil { 
    		panic(err.Error())
    	}
    
    	dynamicClient, err := dynamic.NewForConfig(config)
    
    	if err != nil { 
    		panic(err.Error())
    	}
    
    	// dynamicClient的唯一关联方法所需的入参
    	gvr := schema.GroupVersionResource{ Version: "v1", Resource: "pods"}
    
    	// 使用dynamicClient的查询列表方法，查询指定namespace下的所有pod，
    	// 注意此方法返回的数据结构类型是UnstructuredList
    	unstructObj, err := dynamicClient.
    		Resource(gvr).
    		Namespace("kube-system").
    		List(context.TODO(), metav1.ListOptions{ Limit: 100})
    
    	if err != nil { 
    		panic(err.Error())
    	}
    
    	// 实例化一个PodList数据结构，用于接收从unstructObj转换后的结果
    	podList := &apiv1.PodList{ }
    
    	// 转换
    	err = runtime.DefaultUnstructuredConverter.FromUnstructured(unstructObj.UnstructuredContent(), podList)
    
    	if err != nil { 
    		panic(err.Error())
    	}
    
    	// 表头
    	fmt.Printf("namespace\t status\t\t name\n")
    
    	// 每个pod都打印namespace、status.Phase、name三个字段
    	for _, d := range podList.Items { 
    		fmt.Printf("%v\t %v\t %v\n",
    			d.Namespace,
    			d.Status.Phase,
    			d.Name)
    	}
    }

*  上述代码中有三处重点需要注意：

1.  Resource方法指定了本次操作的资源类型；
2.  List方法向kubernetes发起请求；
3.  FromUnstructured将Unstructured数据结构转成PodList，其原理前面已经分析过；

*  执行go run main.go，如下，可以从kubernetes取得数据，并且转换成PodList也正常：

zhaoqin@zhaoqindeMBP-2 dynamicclientdemo % go run main.go
    namespace        status          name
    kube-system      Running         coredns-7f89b7bc75-5pdwc
    kube-system      Running         coredns-7f89b7bc75-nvbvm
    kube-system      Running         etcd-hedy
    kube-system      Running         kube-apiserver-hedy
    kube-system      Running         kube-controller-manager-hedy
    kube-system      Running         kube-flannel-ds-v84vc
    kube-system      Running         kube-proxy-hlppx
    kube-system      Running         kube-scheduler-hedy

*  至此，dynamicClient的学习和实战就完成了，它是名副其实的动态客户端工具，用一套API处理所有资源，除了突破Clientset的内置资源限制，还让我们的业务代码有了更大的灵活性，希望本文能给您一些参考，辅助您写出与场景更加匹配的代码；

### 你不孤单，欣宸原创一路相伴 ###

1.  [Java系列][Java]
2.  [Spring系列][Spring]
3.  [Docker系列][Docker]
4.  [kubernetes系列][kubernetes]
5.  [数据库+中间件系列][Link 1]
6.  [DevOps系列][DevOps]

### 欢迎关注公众号：程序员欣宸 ###

> 微信搜索「程序员欣宸」，我是欣宸，期待与您一同畅游Java世界…

[https_github.com_zq2599_blog_demos]: https://github.com/zq2599/blog_demos
[client-go]: https://xinchen.blog.csdn.net/article/details/113753087
[client-go_RESTClient]: https://xinchen.blog.csdn.net/article/details/113487087
[client-go_Clientset]: https://xinchen.blog.csdn.net/article/details/113788269
[client-go_dynamicClient]: https://xinchen.blog.csdn.net/article/details/113795523
[client-go_DiscoveryClient]: https://xinchen.blog.csdn.net/article/details/113800054
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70]: /images/20221024/81e41926248d4446b94628ebc29de963.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 1]: /images/20221024/c08058677d8148a3827c5c758a2ee313.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 2]: /images/20221024/54a1106611ad49af862539a7e9de6624.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 3]: /images/20221024/42a9178b7c0a452cbdfda684b0ab8de1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 4]: /images/20221024/df8dfef561f64c1ab4025ab994ffb58c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JvbGluZ19jYXZhbHJ5_size_16_color_FFFFFF_t_70 5]: /images/20221024/8e49dc0aa2ab436e81810054cbef3605.png
[Java]: https://xinchen.blog.csdn.net/article/details/105068742
[Spring]: https://xinchen.blog.csdn.net/article/details/105086498
[Docker]: https://xinchen.blog.csdn.net/article/details/105086732
[kubernetes]: https://xinchen.blog.csdn.net/article/details/105086794
[Link 1]: https://xinchen.blog.csdn.net/article/details/105086850
[DevOps]: https://xinchen.blog.csdn.net/article/details/105086920