k8s-trouble-sealos: calico+外网映射构建集群时出错

Dear 丶 2022-10-24 01:42 162阅读 0赞

#### 环境描述 ####

这是一个网络有点复杂的环境如图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70]

存在的难题：

*  172段的机器与10.121.181段的机器不能直接通信，需要开放端口
 *  10.121.181段的机器不能直接访问172段的机器，比如访问172.16.20.18需要访问10.121.232.18

#### 172段机器构建成集群 ####

使用了sealos将172端机器构成了三master的集群

#### 开网，打通端口 ####

要想将10.121.181机器加进来需要打通如下端口

<table> 
 <thead> 
  <tr> 
   <th>端口号</th> 
   <th>方向</th> 
   <th>作用</th> 
   <th>tcp or udp</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>6443</td> 
   <td>10.121.181 -&gt; 10.121.232</td> 
   <td>访问apiserver</td> 
   <td>tcp</td> 
  </tr> 
  <tr> 
   <td>22</td> 
   <td>10.121.232 -&gt; 10.121.181</td> 
   <td>sealos 添加节点</td> 
   <td>tcp</td> 
  </tr> 
  <tr> 
   <td>8472</td> 
   <td>双向</td> 
   <td>vxlan</td> 
   <td>UDP</td> 
  </tr> 
 </tbody> 
</table>

#### 修改apiserver的地址 ####

10.121.181段的机器上，apiserver 的service 转化为 ipvs后，真实服务器的地址使用的是172段的，这显然不行的。这会导致物理机上起的容器会报错，大概是 `10.96.0.1:443 time out` 之类。  
需要我们修改master的广播地址：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][20210128223712808.png]  
如果你使用sealos添加的节点，你还要修改一个虚拟服务 10.103.92.2:6443  
![在这里插入图片描述][20210128223919930.png]

#### calico的问题 ####

calico node一直启动不起来，报错如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 2]  
这个是真的没招，我替换为了Flannel。

#### 为flannel添加iptables ####

因为fdb中还是保存的是172.16.20网段，所以物理机向外发送vxlan报文发不去，我们要做的就是添加snat转换即可  
![在这里插入图片描述][2021012923140320.png]

iptables -t nat -A OUTPUT -d 172.16.20.x -j DNAT --to 10.121.232.x

> 有问题，请留言，谢谢大家

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70]: /images/20221024/1ca811ad0b944d2885a36cec93b366c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 1]: /images/20221024/e3d6cb23df0245308bd43d5c8057639f.png
[20210128223712808.png]: /images/20221024/88ac5968e144449c87e371146a4db0a9.png
[20210128223919930.png]: /images/20221024/abd86052f0f44599903b80975702464d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTQ2ODYzOTk_size_16_color_FFFFFF_t_70 2]: /images/20221024/591a04deac1245c0bbf13e601a65185e.png
[2021012923140320.png]: /images/20221024/8b88afe29b204f9781d1fbce2a82a25d.png