CNCF CNI系列之四：flannel host-gw模式工作原理浅析

小灰灰 2022-05-28 10:51 164阅读 0赞

## 一、前言 ##

flannel作为一个container互联解决方案，不仅提供基于封装类型的互联技术，也提供基于路由技术的互联技术，比如host-gw模式。

host-gw模式通过建立主机IP到主机上对应flannel子网的mapping，以直接路由的方式联通flannel的各个子网。这种互联方式没有vxlan等封装方式带来的负担，通过路由机制，实现flannel网络数据包在主机之间的转发。但是这种方式也有不足，那就是所有节点之间都要相互有点对点的路由覆盖，并且所有加入flannel网络的主机需要在同一个LAN里面；所以每个节点上有n-1个路由，而n个节点一共有n(n-1)/2个路由以保证flannel的flat网络能力。

转载自https://blog.csdn.net/cloudvtech

## 二、配置flannel ##

1.节点分布如下：

etcd: 192.168.166.101
    node1: 192.168.166.102
    node2: 192.168.166.103
    node3: 192.168.166.104

2.etcd上面的配置如下：

etcdctl mk /test/network/config "\{ \\"Network\\": \\"172.22.0.0/16\\", \\"SubnetLen\\": 24, \\"Backend\\": \{ \\"Type\\": \\"host-gw\\" \} \}"

3.节点上启动flannel如下：

/usr/bin/flanneld -etcd-endpoints=http://192.168.166.101:4001 -etcd-prefix=/test/network

并且有如下log：

Picking subnet in range 172.22.1.0 ... 172.22.255.0 
    Lease acquired: 172.22.84.0/24
    Watching for new subnet leases
    Subnet added: 172.22.13.0/24 via 192.168.166.103
    Subnet added: 172.22.2.0/24 via 192.168.166.104

每当有新的节点加入，该节点就会向etcd注册，所有监听etcd的flanneld service就会在节点本地进行必要的更新来把新的子网和节点加入。

docker0 birdge上面则被配置了节点子网的网关IP：

3: docker0: <NO-CARRIER,BROADCAST,MULTICAST,UP> mtu 1500 qdisc noqueue state DOWN 
        link/ether 02:42:d9:a0:e5:54 brd ff:ff:ff:ff:ff:ff
        inet 172.22.84.1/24 scope global docker0
           valid_lft forever preferred_lft forever
        inet6 fe80::42:d9ff:fea0:e554/64 scope link 
           valid_lft forever preferred_lft forever

4.启动container

docker run -it busybox sh

container里面的网络配置如下：

/ # ip a
    
    1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue qlen 1
        link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
        inet 127.0.0.1/8 scope host lo
           valid_lft forever preferred_lft forever
        inet6 ::1/128 scope host 
           valid_lft forever preferred_lft forever
    6: eth0@if7: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue 
        link/ether 02:42:ac:16:54:02 brd ff:ff:ff:ff:ff:ff
        inet 172.22.84.2/24 scope global eth0
           valid_lft forever preferred_lft forever
        inet6 fe80::42:acff:fe16:5402/64 scope link tentative 
           valid_lft forever preferred_lft forever

转载自https://blog.csdn.net/cloudvtech

## 三、网络分析 ##

在三个节点加入到flannel网络之后，etcd上会有如下信息：

etcdctl ls /test/network --recursive
    /test/network/config
    /test/network/subnets
    /test/network/subnets/172.22.2.0-24
    /test/network/subnets/172.22.84.0-24
    /test/network/subnets/172.22.13.0-24

而每个节点上，则不像vxlan一样会有一个flannel.1的bridge，取而代之的是新建的一些列路由，如下是node1上面的路由：

ip route
    default via 192.168.166.2 dev ens33 proto static metric 100 
    172.22.2.0/24 via 192.168.166.104 dev ens33 
    172.22.13.0/24 via 192.168.166.103 dev ens33 
    172.22.84.0/24 dev docker0 proto kernel scope link src 172.22.84.1 
    192.168.166.0/24 dev ens33 proto kernel scope link src 192.168.166.102 metric 100

到172.22.2.0/24和172.22.13.0/24两个子网的路由被分别直接导向node3和node2，在node2和node3上也有类似到其它节点的路由。

现在所有进出container的数据包都要经由docker0 bridge和以上直接路由的引导。

## 四、扩展阅读 ##

这片文章对于flannel的不同模式的性能进行了检测，可以进行参考：

[《Comparison of Networking Solutions for Kubernetes》][Comparison of Networking Solutions for Kubernetes]

# ![70][]    #

转载自https://blog.csdn.net/cloudvtech

[Comparison of Networking Solutions for Kubernetes]: http://machinezone.github.io/research/networking-solutions-for-kubernetes/
[70]: /images/20220528/6beec528fe934caf8d2c1b734bc536f3.png