【kubernetes/k8s概念】coredns 概念原理与使用

怼烎@ 2021-10-15 15:51 452阅读 0赞

# ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25nbGluemhhbmc_size_16_color_FFFFFF_t_70][] #

# WHY ？ #

>      kuberntes 中的 pod 基于 service 域名解析后，再负载均衡分发到 service 后端的各个 pod 服务中，如果没有 DNS 解析，则无法查到各个服务对应的 service 服务

###      在 Kubernetes 中，服务发现有几种方式： ###

*  基于环境变量的方式
 *  基于内部域名的方式

# WHAT ? #

从 K8S 1.11 开始，K8S 已经使用 CoreDNS，替换 KubeDNS 来充当其 DNS 解析

DNS 如何解析，依赖容器内 resolv 文件的配置

> \# cat /etc/resolv.conf   
> nameserver 10.200.254.254  
> search default.svc.cluster.local. svc.cluster.local. cluster.local.  
> options ndots:5

ndots:5：如果查询的域名包含的点 “.” 不到 5 个，那么进行 DNS 查找，将使用**非完全限定名称（或者叫绝对域名）**，如果你查询的域名包含点数大于等于 5，那么 DNS 查询，默认会使用绝对域名进行查询。

Kubernetes 域名的全称，必须是 service-name.namespace.svc.cluster.local 这种模式，服务名

> \# nslookup kubernetes.default.svc.cluster.local  
> Server:        10.200.254.254  
> Address:    10.200.254.254:53
> 
> Name:    kubernetes.default.svc.cluster.local  
> Address: 10.200.0.1

## DNS策略，在Pod，Deployment RC等资源设置 dnsPolicy  ##

*  **None**

> 用于想要自定义 DNS 配置的场景，而且需要和 dnsConfig 配合一起使用

*  **Default**

> 让 kubelet 来决定使用何种 DNS 策略。而 kubelet 默认使用宿主机的 /etc/resolv.conf（使用宿主机的DNS策略）
> 
> 但 kubelet 可以配置使用什么文件来进行 DNS 策略，使用 kubelet 的参数：–resolv-conf=/etc/resolv.conf 来决定 DNS 解析文件地址

*  **ClusterFirst**

> 表示 POD 内的 DNS 使用集群中配置的 DNS 服务，使用 Kubernetes 中 kubedns 或 coredns 服务进行域名解析。如果解析不成功，才会使用宿主机的 DNS 进行解析

*  **ClusterFirstWithHostNet**

> POD 是用 HOST 模式启动的（HOST模式），用 HOST 模式表示 POD 中的所有容器，都使用宿主机的 /etc/resolv.conf 进行 DNS 查询，但如果使用了 HOST 模式，还继续使用 Kubernetes 的 DNS 服务，那就将 dnsPolicy 设置为 ClusterFirstWithHostNet

###    配置文件使用 configmap  ###

*  [health][]：CoreDNS 健康检查为 [http://$IP:8080/health][http_IP_8080_health]，返回为 OK
 *  [kubernetes][]：CoreDNS 将根据 Kubernetes 服务和 pod 的 IP 回复 DNS 查询
 *  [prometheus][]：CoreDNS 度量 [http://$IP:9153/][http_IP_9153]metrics
 *  [proxy][]：不在 Kubernetes 集群域内的查询都将转发到预定义的解析器（/etc/resolv.conf），可以配置多个upstream 域名服务器，也可以用于延迟查找 /etc/resolv.conf 中定义的域名服务器
 *  [cache][]：启用缓存，30 秒 TTL
 *  [loop][]：检测简单的转发循环，如果找到循环则停止 CoreDNS 进程
 *  [reload][]：允许自动重新加载已更改的 Corefile
 *  [loadbalance][]：DNS 负载均衡器，默认round\_robin

> apiVersion: v1  
> kind: ConfigMap  
> metadata:  
>   name: coredns  
>   namespace: namespace-test  
> data:  
>   Corefile: |  
>     .:53 \{  
>         errors  
>         health  
>         ready  
>         kubernetes cluster.local  10.200.0.0/16 \{  
>           pods insecure  
>           upstream 114.114.114.114  
>           fallthrough in-addr.arpa ip6.arpa  
>           namespaces namespace-test  
>         \}  
>         prometheus :9153  
>         forward . /etc/resolv.conf  
>         cache 30  
>         loop  
>         reload  
>         loadbalance  
>     \}  
>

Coredns 规定协议

> 当前 CoreDNS 接受4种协议: DNS, DNS over TLS (DoT), DNS over HTTP/2 (DoH)  
> and DNS over gRPC。可以通过在服务器配置文件，在zone 前加个前缀来指定服务器接收哪种协议。

*  `dns://` for plain DNS (the default if no scheme is specified).
 *  `tls://` for DNS over TLS, see [RFC 7858][].
 *  `https://` for DNS over HTTPS, see [RFC 8484][].
 *  `grpc://` for DNS over gRPC.

UDP非标准端口只在某些地区某些运营商有用，DoT，即DNS over TLS，支持DoT的公共DNS服务有Quad9的`9.9.9.9`，Google的`8.8.8.8`以及Cloudflare的`1.1.1.1`，可以这么使用：

.:5301 {
       forward . tls://9.9.9.9 {
           tls_servername dns.quad9.net
       }
       cache
    }
    .:5302 {
        forward . tls://1.1.1.1 tls://1.0.0.1 {
            tls_servername 1dot1dot1dot1.cloudflare-dns.com
        }
        cache
    }
    .:5303 {
        forward . tls://8.8.8.8 tls://8.8.4.4 {
            tls_servername dns.google
        }
        cache
    }

由于`proxy`插件新版本已经移除，作为external plugin，需要自己编译CoreDNS。

> 1.  git clone https://github.com/coredns/coredns.git
> 2.  cd coredns
> 3.  make

CoreDNS使用了***go modules机制***，所以在`make`过程中会自动下载依赖的package。可以通过`HTTP_PROXY`环境变量指定，或者使用国内的一些镜像（如果你信得过的话）通过`GOPROXY`环境变量指定。

则在`make`前，要修改`plugin.cfg`文件，加入以下：

> 1.  proxy:github.com/coredns/proxy

再`make`，就会把插件编译进去。如果发现没有编译进去，可以先执行一下`go generate coredns.go`再`make`

# coredns 安装部署 #

下载：[https://github.com/coredns/deployment/tree/master/kubernetes][https_github.com_coredns_deployment_tree_master_kubernetes]

deploy.sh 用于生成用于 kube-dns 的集群上运行 CoreDNS 的 yaml 文件

coredns.yaml.sed 文件作为模板，它创建一个 ConfigMap 和一个 CoreDNS  deployment 的yaml 文件

./deploy.sh 172.18.0.0/24 cluster.local 生成 yaml 文件，在使用 kubectl apply 部署在 k8s 中

## 官方性能 ##

计算表达式： MB required (default settings) = (Pods + Services) / 1000 + 54

*        cache 需要 30 MB，大约缓存 10000 条记录
 *        操作 buffer 需要 5 MB，用于处理查询，大约可以承受 30 K QPS 量

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25nbGluemhhbmc_size_16_color_FFFFFF_t_70 1][]

容器内抓包

docker inspect --format "{
       {.State.Pid}}" container
    # 进入 container namespace
    nsenter -n -t ￥pid
    # 对 53 端口进行抓包
    # tcpdump -i eth0 -N udp dst port 53

### 参考： ###

[https://coredns.io/][https_coredns.io]

[https://github.com/coredns/coredns][https_github.com_coredns_coredns]

[https://github.com/coredns/deployment/blob/master/kubernetes/Scaling\_CoreDNS.md][https_github.com_coredns_deployment_blob_master_kubernetes_Scaling_CoreDNS.md]

## ##

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25nbGluemhhbmc_size_16_color_FFFFFF_t_70]: /images/20211015/547481c15804487e90842c5a7cc0a54e.png
[health]: https://coredns.io/plugins/health/
[http_IP_8080_health]: http://localhost:8080/health
[kubernetes]: https://coredns.io/plugins/kubernetes/
[prometheus]: https://coredns.io/plugins/prometheus/
[http_IP_9153]: http://localhost:9153/metrics
[proxy]: https://coredns.io/plugins/proxy/
[cache]: https://coredns.io/plugins/cache/
[loop]: https://coredns.io/plugins/loop/
[reload]: https://coredns.io/plugins/reload
[loadbalance]: https://coredns.io/plugins/loadbalance
[RFC 7858]: https://links.jianshu.com/go?to=https%3A%2F%2Ftools.ietf.org%2Fhtml%2Frfc7858
[RFC 8484]: https://links.jianshu.com/go?to=https%3A%2F%2Ftools.ietf.org%2Fhtml%2Frfc8484
[https_github.com_coredns_deployment_tree_master_kubernetes]: https://github.com/coredns/deployment/tree/master/kubernetes
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob25nbGluemhhbmc_size_16_color_FFFFFF_t_70 1]: /images/20211015/d7d964fbeab24b2c8bf517d6709b080c.png
[https_coredns.io]: https://coredns.io/
[https_github.com_coredns_coredns]: https://github.com/coredns/coredns
[https_github.com_coredns_deployment_blob_master_kubernetes_Scaling_CoreDNS.md]: https://github.com/coredns/deployment/blob/master/kubernetes/Scaling_CoreDNS.md