kubernetes之kube-ApiServer代码分析

客官°小女子只卖身不卖艺 2022-03-15 08:50 552阅读 0赞

### 一、概述： ###

kube-ApiServer相当于是k8集群的一个入口，不论通过kubectl还是使用remote api 直接控制，都要经过apiserver。apiserver说白了就是一个server负责监听指定的端口（http/https协议），之后处理不同的请求，只不过加上的很多控制；apiserver是k8s系统中所有对象的增删查改盯的http/restful式服务端，其中盯是指watch操作【watch是apiserver中的重要操作之一】。数据最终存储在分布式一致的etcd存储内，apiserver本身是无状态的，提供了这些数据访问的认证鉴权、缓存、api版本适配转换等一系列的功能。

### 二、restful基础 ###

对于http服务和使用go语言实现方式，可以看go-restful的[文档][Link 1]和[例子][Link 2]

![593225-20161128104237209-320474092.png][]

k8s存放在etcd内的存储对象是api.Pod对象（无版本），从不同版本的请求路径标示来操作，例如api/v1,最后获取到的是不同版本，例如v1.Pod的json文本。这里就经历了几个过程，包括：

1、http client访问/api/v1/pod/xyz, 想要获取到这个Pod的数据

2、从etcd获取到api.Pod对象

3、api.Pod对象转换为v1.Pod对象

4、v1.Pod对象序列化为json或yaml文本

5、文本通过http的response体，返回给http client

其中用于处理业务数据的关键数据结构是APIGroupVersion：

![复制代码][copycode.gif]

1 // APIGroupVersion is a helper for exposing rest.Storage objects as http.Handlers via go-restful
     2 // It handles URLs of the form:
     3 // /${storage_key}[/${object_name}]
     4 // Where 'storage_key' points to a rest.Storage object stored in storage.
     5 // This object should contain all parameterization necessary for running a particular API version
     6 //重点数据结构
     7 type APIGroupVersion struct {
     8     //最重要的数据结构，该map的key是用于对，value是rest.Storage结构，用于对接etcd存储，
     9     //在初始化注册时，会把这个map化开，化为真正的rest服务到存储的一条龙服务
    10     Storage map[string]rest.Storage
    11 
    12     Root string
    13 
    14     // GroupVersion is the external group version
    15     // 包含api/v1这样的string，用于标示这个实例
    16     GroupVersion unversioned.GroupVersion
    17 
    18     // RequestInfoResolver is used to parse URLs for the legacy proxy handler.  Don't use this for anything else
    19     // TODO: refactor proxy handler to use sub resources
    20     RequestInfoResolver *RequestInfoResolver
    21 
    22     // OptionsExternalVersion controls the Kubernetes APIVersion used for common objects in the apiserver
    23     // schema like api.Status, api.DeleteOptions, and api.ListOptions. Other implementors may
    24     // define a version "v1beta1" but want to use the Kubernetes "v1" internal objects. If
    25     // empty, defaults to GroupVersion.
    26     OptionsExternalVersion *unversioned.GroupVersion
    27 
    28     Mapper meta.RESTMapper
    29 
    30     // Serializer is used to determine how to convert responses from API methods into bytes to send over
    31     // the wire.
    32     //对象序列化和反序列化器
    33     Serializer     runtime.NegotiatedSerializer
    34     ParameterCodec runtime.ParameterCodec
    35 
    36     Typer   runtime.ObjectTyper
    37     Creater runtime.ObjectCreater
    38     //可以转换任意一种对象到另一种，只要你事先注入了相应的转换函数
    39     HandleFunc(pattern string, handler func(http.ResponseWriter, *http.Request))
    40     Convertor runtime.ObjectConvertor
    41     Copier    runtime.ObjectCopier
    42     Linker    runtime.SelfLinker
    43 
    44     Admit   admission.Interface
    45     Context api.RequestContextMapper
    46 
    47     MinRequestTimeout time.Duration
    48 
    49     // SubresourceGroupVersionKind contains the GroupVersionKind overrides for each subresource that is
    50     // accessible from this API group version. The GroupVersionKind is that of the external version of
    51     // the subresource. The key of this map should be the path of the subresource. The keys here should
    52     // match the keys in the Storage map above for subresources.
    53     SubresourceGroupVersionKind map[string]unversioned.GroupVersionKind
    54 }

![复制代码][copycode.gif]

### 三、API分组、多版本的初始化注册(Rest) ###

![593225-20161128110420990-1293596317.png][]

k8s采用ApiGroup来管理所有的api分组和版本升级，目前的API分组包括：

1、核心组，REST路径在/api/v1,但这个路径不是固定的，v1是当前的版本。与之相对应的代码里面的apiVersion字段的值为v1.

2、扩展组，REST路径在/apis/extensions/$version, 相应的代码里面的apiversion:extensions/$VERSION(eg:apiVersion:extensions/v1beta1),这里的API对象可能会被重新分组；

3、"componentconfig" 和 "metrics"这些组

在[这个文档][Link 3]里面讲述了实现ApiGroup的几个目标，包括api分组演化，对旧版API的向后兼容（Backwards compatibility），包括用户可以自定义自己的api等。接下来我们看看他么是怎么初始化注册的，这里都是缩减版代码，去掉了其他部分。

1.  api注册入口：
    
        kubernets/pkg/master/master.go 
        func New(c *Config)(*Master, error) {
              m.InstallAPIs(c)  
        }

2.根据Config往`APIGroupsInfo`内增加组信息，然后通过`InstallAPIGroups`进行注册

1 func (m *Master) InstallAPIs(c *Config) {
    2     if err := m.InstallAPIGroups(apiGroupsInfo); err != nil {
    3         glog.Fatalf("Error in registering group versions:%v", err)
    4     }
    5 }

3.转换为`APIGroupVersion`这个关键数据结构，然后进行注册

![复制代码][copycode.gif]

func (s *GenericAPIServer) installAPIGroup(apiGroupInfo *APIGroupInfo) error {
        apiGroupVersion, err := s.getAPIGroupVersion(apiGroupInfo, groupVersion, apiPrefix)
        if err := apiGroupVersion.InstallREST(s.HandlerContainer); err != nil {
            return fmt.Errorf("Unable to setup API %v: %v", apiGroupInfo, err)
        }  
    }

![复制代码][copycode.gif]

4.APIGroupVersion 关键数据结构

![复制代码][copycode.gif]

kubernetes/pkg/apiserver/apiserver.go 
    type APIGroupVersion struct {
         Storage  map[string]rest.Storage 
         Root  string
         //GroupVersion is the external group version 
        GroupVersion unversioned.GroupVersion
    }

![复制代码][copycode.gif]

5.实际注册的Storage的map如下：

![复制代码][copycode.gif]

kubernetes/pkg/master/master.go
        m.v1ResourcesStorage = map[string]rest.Storage{
            "pods":             podStorage.Pod,
            "pods/attach":      podStorage.Attach,
            "pods/status":      podStorage.Status,
            "pods/log":         podStorage.Log,
            "pods/exec":        podStorage.Exec,
            "pods/portforward": podStorage.PortForward,
            "pods/proxy":       podStorage.Proxy,
            "pods/binding":     podStorage.Binding,
            "bindings":         podStorage.Binding,

![复制代码][copycode.gif]

那么，这里的`map[string]rest.Storage`最后是怎么变成一个具体的API来提供服务的呢？例如这么一个URL:

GET /api/v1/namespaces/{namespace}/pods/{name}
    　k8s使用的一个第三方库github.com/emicklei/go-restful，里面提供了一组核心的对象，看例子

<table> 
 <thead> 
  <tr> 
   <th>数据结构</th> 
   <th>功能</th> 
   <th>在k8s内的位置</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>restful.Container</td> 
   <td>代表一个http rest服务对象，包括一组restful.WebService</td> 
   <td>genericapiserver.go - GenericAPIServer.HandlerContainer</td> 
  </tr> 
  <tr> 
   <td>restful.WebService</td> 
   <td>由多个restful.Route组成，处理这些路径下所有的特殊的MIME类型等</td> 
   <td>api_installer.go - NewWebService()</td> 
  </tr> 
  <tr> 
   <td>restful.Route</td> 
   <td>路径——处理函数映射map</td> 
   <td>api_installer.go - registerResourceHandlers</td> 
  </tr> 
 </tbody> 
</table>

*  实际注册过程  
     
    
        kubernetes/pkg/apiserver/api_installer.go
    
        func (a *APIInstaller) registerResourceHandlers(path string, storage rest.Storage, ws *restful.WebService, proxyHandler http.Handler) (*unversioned.APIResource, error) {
        }
    
    最终的API注册过程是在这个函数中完成的，把一个rest.Storage对象转换为实际的getter, lister等处理函数，并和实际的url关联起来。

### 4.etcd存储的操作(ORM) ###

上面已经基本厘清了从http请求 -> restful.Route -> rest.Storage这条线路，那rest.Storage仅仅是一个接口，有何德何能，可以真正的操作etcd呢？

![593225-20161128113422959-1708222387.png][]

这段也是牵涉到多个文件，但还比较清晰，首先，所有的对象都有增删改查这些操作，如果为Pod单独搞一套，Controller单独搞一套，那代码会非常重复，不可复用，所以存储的关键目录是在这里：

kubernetes/pkg/registry/generic/etcd/etcd.go

这个文件定义了所有的对etcd对象的操作，get,list,create等，但具体的对象是啥，这个文件不关心；etcd客户端地址，这个文件也不关心。这些信息都是在具体的PodStorage对象创建的时候注入的。以Pod为例子，文件在：

kubernetes/pkg/registry/pod/etcd/etcd.go

这里的`NewStorage`方法，把上述的信息注入了etcd里面去，生成了PodStorage这个对象。

// REST implements a RESTStorage for pods against etcd
    　　type REST struct {
        　　*etcdgeneric.Etcd
        　　proxyTransport http.RoundTripper
    　　}

由于PodStorage.Pod是一个REST类型，而REST类型采用了Go语言的struct匿名内部成员，天然就拥有Get, List等方法。

kubernetes/pkg/apiserver/api_installer.go

最后在这里把PodStorage转换成了Getter对象，并最终注册到`ApiGroup`里面去。

[Link 1]: https://godoc.org/github.com/emicklei/go-restful
[Link 2]: https://github.com/emicklei/go-restful#example
[593225-20161128104237209-320474092.png]: /images/20220315/b15c42236b7d4478ad24f7afe97ac69c.png
[copycode.gif]: /images/20220315/5f9c15540a724273afce63574e0c32af.png
[593225-20161128110420990-1293596317.png]: /images/20220315/b04bc1979c6545abbb945662927bad17.png
[Link 3]: https://github.com/kubernetes/kubernetes/blob/master/docs/proposals/api-group.md
[593225-20161128113422959-1708222387.png]: /images/20220315/e522b865f0974dac8ca8f69320de7cbd.png