ipvs负载均衡（三）ipvs三种工作方式

秒速五厘米 2022-08-20 06:25 260阅读 0赞

# IPVS负载均衡（三）IPVS三种工作方式之NAT模式 #

> IPVS是LVS（Linux Virtual Server）项目重要组成部分，目前包含于官方Linux Kernel，IPVS依赖于netfilter框架，位于内核源码的net/netfilter/ipvs目录下

## 一、三种工作模式简介 ##

1.  `NAT工作模式`，简单来说就是传统的NAT，进出流量都需要经过调度器，调度器会选择一个目的服务器，将进入流量的目标IP改写为负载均衡到的目标服务器，同时源IP地址也会改为调度器IP地址。机制简单，但限制大，IPVS需要维护每个映射关系，而且进出入流量都需要经过调度器，**实际上这个会成为瓶颈**。
2.  `TUN工作模式`，即IP Tunneling模式。这种模式中，调度器将进入的包重新包成一个IP包，然后发送给选定的目的服务器，目的服务器处理后，直接将应答发送给客户（当然该重新封装的报文的源IP地址还是要填成调度器的）。
3.  `DR工作模式`，即Direct Routing模式。这种模式中，调度器直接重写进入包的mac地址，将其改为选定的目标服务器的mac地址，这样就可以到达服务器。**但这样的话需要要求IPVS服务器需要和真实服务器在同一局域网内，且真实服务器必须有真实网卡（这样重写了mac地址的报文才可以才可以到达该服务器）**

下面将详细描述三种IP负载均衡技术VS/NAT、VS/TUN和VS/DR的工作原理，以及它们的优缺点。  
`以下三种模式主要转自zhangweisong博客`

## 二、LVS/NAT ##

由于IPv4中IP地址空间的日益紧张和安全方面的原因，很多网络使用**保留IP地址（10.0.0.0/255.0.0.0、172.16.0.0/255.128.0.0和192.168.0.0/255.255.0.0）\[64, 65, 66\]**。这些地址不在Internet上使用，而是专门为内部网络预留的。当内部网络中的主机要访问Internet或被Internet访问时，就需要采用网络地址转换（Network Address Translation, 以下简称NAT），将内部地址转化为Internets上可用的外部地址。NAT的工作原理是报文头（目标地址、源地址和端口等）被正确改写后，客户相信它们连接一个IP地址，而不同IP地址的服务器组也认为它们是与客户直接相连的。由此，可以用NAT方法将不同IP地址的并行网络服务变成在一个IP地址上的一个虚拟服务。

VS/NAT的体系结构如下图所示。在一组服务器前有一个调度器，它们是通过Switch/HUB相连接的`（意思就是说真实服务器可以和IPVS负载均衡器不处于同一个子网）`。这些服务器提供相同的网络服务、相同的内容，即不管请求被发送到哪一台服务器，执行结果是一样的。服务的内容可以复制到每台服务器的本地硬盘上，可以通过网络文件系统（如NFS）共享，也可以通过一个分布式文件系统来提供。

![VS/NAT的体系结构][VS_NAT]

### 1、用户报文到达IPVS负载均衡器 ###

1.  用户通过Virtual IP Address（虚拟服务的IP地址）访问网络服务时，请求报文到达IPVS
2.  IPVS根据连接调度算法从一组真实服务器中选出一台服务器
3.  IPVS将报文的目标地址Virtual IP Address改写成选定服务器的地址，报文的目标端口改写成选定服务器的相应端口，最后将修改后的报文发送给选出的服务器。
4.  同时，IPVS在连接Hash表中记录这个连接，当这个连接的下一个报文到达时，从连接Hash表中可以得到原选定服务器的地址和端口，进行同样的改写操作，并将报文传给原选定的服务器。

### 2、真实服务器返回的响应报文到达IPVS负载均衡器 ###

1.  当来自真实服务器的响应报文经过调度器时，IPVS负载均衡器会先查询hash连接表，查询相应连接信息
2.  调度器将报文的源地址和源端口改为Virtual IP Address和相应的端口，再把报文发给用户

### 3、连接的状态机 ###

IPVS负载均衡器连接上引入一个状态机，不同的报文会使得连接处于不同的状态，不同的状态有不同的超时值。

1.  在TCP连接中，根据标准的TCP有限状态机进行状态迁移，`成功的连接在ipvsadm中查看都是ActiveCon`，不同状态的超时值是可以设置的，在缺省情况下，SYN状态的超时为1分钟，ESTABLISHED状态的超时为15分钟，FIN状态的超时为1分钟
2.  在UDP中，我们只设置一个UDP状态，`连接通过ipvsadm查看一律显示结果为InActiveConn`，UDP状态的超时为5分钟
3.  当连接终止或超时，调度器将这个连接从连接Hash表中删除。

这样，客户所看到的只是在Virtual IP Address上提供的服务，而服务器集群的结构对用户是透明的。对改写后的报文，`应用增量调整Checksum的算法调整TCP Checksum的值`，避免了扫描整个报文来计算Checksum的开销。

在一些网络服务中，它们将IP地址或者端口号在报文的数据中传送，若我们只对报文头的IP地址和端口号作转换，这样就会出现不一致性，服务会中断。**所以，针对这些服务，需要编写相应的应用模块来转换报文数据中的IP地址或者端口号。*\****不过说实在的，这句话，我在工作中并没有遇到，所以只是粗略看了代码，并没有具体解读该处作用，而且现在协议就是TCP/UDP/SCTP……嘛反正这里不懂，我这里不多说。\*

## 三、具体事例 ##

举个例子来进一步说明LVS/NAT

![LVS/NAT][LVS_NAT]

VS/NAT的配置如下表所示，所有到IP地址为202.103.106.5和端口为80的流量都被负载均衡地调度的真实服务器172.16.0.2:80和172.16.0.3:8000上。目标地址为202.103.106.5:21的报文被转移到172.16.0.3:21上。而到其他端口的报文将被拒绝。

<table> 
 <thead> 
  <tr> 
   <th>Protocol</th> 
   <th>Virtual IP Address</th> 
   <th>Port</th> 
   <th>Real IP Address</th> 
   <th>Port</th> 
   <th>Weight</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>TCP</td> 
   <td>202.103.106.5</td> 
   <td>80</td> 
   <td>172.16.0.2</td> 
   <td>80</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>TCP</td> 
   <td>202.103.106.5</td> 
   <td>80</td> 
   <td>172.16.0.3</td> 
   <td>8000</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>TCP</td> 
   <td>202.103.106.5</td> 
   <td>21</td> 
   <td>172.16.0.3</td> 
   <td>21</td> 
   <td>1</td> 
  </tr> 
 </tbody> 
</table>

从以下的例子中，我们可以更详细地了解报文改写的流程。

1.  访问集群报文可能有以下的源地址和目标地址：

<table> 
 <thead> 
  <tr> 
   <th>SOURCE</th> 
   <th>DEST</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>202.100.1.2:3456</td> 
   <td>202.103.106.5:80</td> 
  </tr> 
 </tbody> 
</table>

2. IPVS负载均衡器从调度列表中选出一台服务器，例如是172.16.0.3:8000。该报文会被改写为如下地址，并将它发送给选出的服务器。

<table> 
 <thead> 
  <tr> 
   <th>SOURCE</th> 
   <th>DEST</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>202.100.1.2:3456</td> 
   <td>172.16.0.3:8000</td> 
  </tr> 
 </tbody> 
</table>

3. 从服务器返回到IPVS的响应报文如下：

<table> 
 <thead> 
  <tr> 
   <th>SOURCE</th> 
   <th>DEST</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>172.16.0.3:8000</td> 
   <td>202.100.1.2:3456</td> 
  </tr> 
 </tbody> 
</table>

4. 响应报文的源地址会被改写为虚拟服务的地址，目标地址改写为客户端地址，再将报文发送给客户端：

<table> 
 <thead> 
  <tr> 
   <th>SOURCE</th> 
   <th>DEST</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>202.103.106.5:80</td> 
   <td>202.100.1.2:3456</td> 
  </tr> 
 </tbody> 
</table>

这样，客户端认为是从202.103.106.5:80服务得到正确的响应，而不会知道该请求是服务器172.16.0.2还是服务器172.16.0.3处理的。

[VS_NAT]: /images/20220731/bedb90fe64744e3ab9ba115e253a9317.png
[LVS_NAT]: /images/20220731/3552ac975eb744298e2bfcbaf0866b77.png