LVS负载均衡详解

怼烎@ 2022-02-09 10:57 253阅读 0赞

## 一、负载均衡集群介绍 ##

1、集群

① 集群（cluster）技术是一种较新的技术，通过集群技术，可以在付出较低成本的情况下获得在性能、可靠性、灵活性方面的相对较高的收益，其**任务调度**则是集群系统中的核心技术。

② 集群是一组**相互独立的、通过高速网络互联**的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。

③ 集群组成后，可以利用多个计算机和组合进行海量请求处理（**负载均衡**），从而获得很高的处理效率，也可以用多个计算机做备份（高可用），使得任何一个机器坏了整个系统还是能正常运行。集群在目前互联网公司是必备的技术，极大提高互联网业务的可用性和可缩放性。

2、负载均衡集群技术

① 负载均衡（Load Balance）：负载均衡集群为企业需求提供了可解决容量问题的有效方案。负载均衡集群使负载可以在**计算机集群中尽可能平均地分摊处理**。

② 负载通常包括**应用程序处理负载和网络流量负载**。这样的系统非常适合向使用同一组应用程序的大量用户提供服务。每个节点都可以承担一定的处理负载，并且可以实现处理负载在节点之间的动态分配，以实现负载均衡。对于网络流量负载,当网络服务程序接受了高入网流量，以致无法迅速处理，这时，网络流量就会发送给在其它节点上运行的网络服务程序。也可根据服务器的承载能力，进行服务请求的分发，从而使用户的请求得到更快速的处理。

3、负载均衡集群技术的实现

负载均衡（Load Balance）

负载均衡技术类型：基于**4层负载均衡技术**和基于7层负载均衡技术

负载均衡实现方式：硬件负载均衡设备或者软件负载均衡

硬件负载均衡产品：**F5** BIG-IP 、Citrix Netscaler  、深信服 、Array 、Radware

软件负载均衡产品：** LVS**（Linux Virtual Server）、 Haproxy、Nginx、Ats（apache traffic server）

4、图示

![1216496-20171104195646201-164801771.png][]

## 二、lvs 的介绍 ##

1、lvs

（1）LVS是**Linux Virtual Server**的简称，也就是Linux虚拟服务器, 是一个由章文嵩博士发起的自由软件项目，它的官方站点是**www.linuxvirtualserver.org。**现在LVS已经是 Linux标准内核的一部分，在Linux2.4内核以前，使用LVS时必须要重新编译内核以支持LVS功能模块，但是从Linux2.4内核以后，已经完全内置了LVS的各个功能模块，无需给内核打任何补丁，可以直接使用LVS提供的各种功能。

（2）LVS自从1998年开始，发展到现在已经是一个比较成熟的技术项目了。可以利用LVS技术实现高可伸缩的、高可用的网络服务，例如WWW服务、Cache服务、DNS服务、FTP服务、MAIL服务、视频/音频点播服务等等，有许多比较著名网站和组织都在使用LVS架设的集群系统，例如：Linux的门户网站（www.linux.com）、向RealPlayer提供音频视频服务而闻名的Real公司（www.real.com）、全球最大的开源网站（sourceforge.net）等。

**（3）LVS软件作用：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。**

2、优缺点：

**高并发连接**：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。单台LVS负载均衡器，可支持上万并发连接。

**稳定性强：**是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。

**成本低廉：**硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。

**配置简单：**LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。

**支持多种算法：**支持多种论调算法，可根据业务场景灵活调配进行使用

**支持多种工作模型：**可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。

应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等

**缺点：**工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

3、LVS 核心组件和专业术语

（1）核心组件

LVS的管理工具和内核模块ipvsadm/ipvs

ipvsadm：用户空间的命令行工具，用于管理集群服务及集群服务上的RS等；

ipvs：工作于内核上的netfilter INPUT钩子之上的程序，可根据用户定义的集群实现请求转发；

（2）专业术语

**VS**：Virtual Server   \#虚拟服务

**Director, Balancer**    \#负载均衡器、分发器

**RS**：Real Server   \#后端请求处理服务器

**CIP**: Client IP    \#用户端IP

**VIP**：Director Virtual IP   \#负载均衡器虚拟IP

**DIP**：Director IP   \#负载均衡器IP

**RIP**：Real Server IP \#后端请求处理服务器IP

（3）图解

![1216496-20171104195646779-1808181772.png][]

4、LVS工作内核模型及工作模式

① 当客户端的请求到达负载均衡器的内核空间时，首先会到达PREROUTING链。

② 当内核发现请求数据包的目的地址是本机时，将数据包送往INPUT链。

③ LVS由用户空间的ipvsadm和内核空间的IPVS组成，ipvsadm用来定义规则，IPVS利用ipvsadm定义的规则工作，IPVS工作在INPUT链上,当数据包到达INPUT链时，首先会被IPVS检查，如果数据包里面的目的地址及端口没有在规则里面，那么这条数据包将被放行至用户空间。

④ 如果数据包里面的目的地址及端口在规则里面，那么这条数据报文将被修改目的地址为事先定义好的后端服务器，并送往POSTROUTING链。

⑤ 最后经由POSTROUTING链发往后端服务器。

图解

![1216496-20171104195647154-844173473.png][]

## 三、LVS负载均衡四种工作模式 ##

### 1、NAT工作模式 ###

（1）介绍

Virtual Server via NAT(VS-NAT):用**地址翻译**实现虚拟服务器｡地址转换器有能被外界访问到的合法IP地址,它修改来自专有网络的流出包的地址｡外界看起来包是来自地址转换器本身,当外界包送到转换器时,它能判断出应该将包送到内部网的哪个节点｡优点是节省IP 地址,能对内部进行伪装;缺点是效率低,因为返回给请求方的流量经过转换器｡

**（2）工作流程**

(a). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的**PREROUTING链**。 此时报文的**源IP为CIP，目标IP为VIP**

(b). PREROUTING检查发现数据包的目标IP是本机，**将数据包送至INPUT链**

(c). IPVS比对数据包请求的服务**是否为集群服务**，若是，**修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链**。 此时报文的**源IP为CIP，目标IP为RIP**

(d). POSTROUTING链通过选路，将数据包**发送给Real Server**

(e). Real Server比对发现目标为自己的IP，开始**构建响应报文**发回给Director Server。 此时报文的**源IP为RIP，目标IP为CIP**

(f). Director Server 把RS来到响应包，**通过FORWORD** 转发给client 在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的**源IP为VIP，目标IP为CIP**

（3）图解

![1216496-20171104195647435-6995388.png][]

![1216496-20171104195647763-946588891.png][]

### 2、DR工作模式 ###

（1）介绍

Virtual Server via Direct Routing(VS-DR):用直接路由技术实现虚拟服务器｡当参与集群的计算机和作为控制管理的计算机在**同一个网段时**可以用此方法,控制管理的计算机接收到请求包时直接送到参与集群的节点｡直接路由模式比较特别，很难说和什么方面相似，前种模式基本上都是工作在网络层上（三层），而直接路由模式则应该是工作在数据链路层上（二层）。

（2）工作原理 ：

DR和REAL SERVER都使用同一个IP对外服务。但只有DR对ARP请求进行响应，所有REAL SERVER对本身这个IP的ARP请求保持静默。也就是说，网关会把对这个服务IP的请求全部定向给DR，而DR收到数据包后根据调度算法，找出对应的 REAL SERVER，**把目的MAC地址**改为REAL SERVER的MAC并发给这台REAL SERVER。这时REAL SERVER收到这个数据包，则等于直接从客户端收到这个数据包无异，处理后直接返回给客户端。由于DR要对二层包头进行改换，所以DR和REAL SERVER之间必须在一个广播域，也可以简单的理解为在同一台交换机上

**（3）工作流程**

(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的**PREROUTING链**。 此时报文的**源IP为CIP，目标IP为VIP**

(b) PREROUTING检查发现数据包的目标IP是本机，将**数据包送至INPUT链**

(c) IPVS比对数据包请求的服务**是否为集群服务**，若是，将请求报文中的**源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址**，然后将数据包**发至POSTROUTING链**。 此时的源**IP和目的IP均未修改，仅修改了源MAC地址**为DIP的MAC地址，**目标MAC地址**为RIP的MAC地址

(d) 由于DS和RS**在同一个网络中**，所以是**通过二层，数据链路层**来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。

(e) **RS**发现请求报文的MAC地址是**自己的MAC地址**，就接收此报文。处理完成之后，将响应报文通过**lo接口**传送给eth0网卡然后向外发出。 此时的**源IP地址为VIP，目标IP为CIP**

(f) 响应报文最终送达至客户端

（4）特点

① 保证前端路由将目标地址为VIP报文统统发给Director Server，而不是RS

② RS可以使用私有地址；也可以是公网地址，如果使用公网地址，此时可以通过互联网对RIP进行直接访问

③ **RS跟Director Server必须在同一个物理网络中**

④ 所有的请求报文经由Director Server，但**响应报文必须不能进过Director Server**

⑤ 不支持地址转换，也不支持端口映射

⑥ RS可以是大多数常见的操作系统

⑦ **RS的网关绝不允许指向DIP**(因为我们不允许他经过director)

⑧ RS上的lo接口配置VIP的IP地址

（5）工作流程图解

![1216496-20171104195648091-1186638337.png][]

![1216496-20171104195648529-1556710994.png][]

![1216496-20171104195648935-525866155.png][]

### 3、TUN工作模式 ###

1、定义

用**IP隧道技术**实现虚拟服务器｡这种方式是在集群的节点不在**同一个网段**时可用的转发机制,是将IP包封装在其他网络流量中的方法｡为了安全的考虑,应该使用隧道技术中的VPN,也可使用租用专线｡ 集群所能提供的服务是基于TCP/IP的Web服务､Mail服务､News服务､DNS服务､Proxy服务器等等.

TUN模式:采用NAT技术时，由于请求和响应报文都必须经过调度器地址重写，当客户请求越来越多时，调度器的处理能力将成为瓶颈。为了解决这个问题，调度器把请求报文通过IP隧道转发至真实服务器，而真实服务器将响应直接返回给客户，所以调度器只处理请求报文。由于一般网络服务应答比请求报文大许多，采用 VS/TUN技术后，集群系统的最大吞吐量可以提高10倍

2、工作流程

(a) 客户端将请求发往前端的负载均衡器，请求报文**源地址是CIP，目标地址为VIP。**

(b) 负载均衡器收到报文后，发现请求的是在规则里面存在的地址，那么它将在客户端请求报文的**首部再封装一层IP报文**,将**源地址改为DIP，目标地址改为RIP,**并将此包发送给RS。

(c) RS收到请求报文后，会首先拆开第一层封装,然后发现里面还有一层IP首部的目标地址是自己lo接口上的VIP，所以会处理次请求报文，并将响应报文**通过lo接口送给eth0网卡直接发送给客户端**。注意：需要设置lo接口的VIP不能在共网上出现

3、图解

![1216496-20171104195649248-1705324201.png][]

![1216496-20171104195649607-540503453.png][]

### 4、full-nat 工作模式 ###

vlvs-fullnat（双向转换）

通过请求报文的**源地址为DIP，目标为RIP**来实现转发：对于响应报文而言，修改**源地址为VIP，目标地址为CIP**来实现转发：

CIP --> DIP           VIP --> RIP

架构特点：这是一种对nat模型的改进，是一个扩展，使得RS与Director可以处于不同网络。

（1）RIP，DIP可以使用私有地址；

（2）RIP和DIP可以不再同一个网络中，且RIP的网关未必需要指向DIP；

（3）支持端口映射；

（4）RS的OS可以使用任意类型；

（5）请求报文经由Director，响应报文也经由Director

![1216496-20171104195649951-2027809396.png][]

### 5、四者的区别 ###

<table> 
 <tbody> 
 <tr> 
 <td> 机器名称 </td> 
 <td> IP配置 </td> 
 <td> 服务角色 </td> 
 <td> 备注 </td> 
 </tr> 
 <tr> 
 <td> lvs-server </td> 
 <td> VIP：172.16.100.1 DIP：192.168.100.1 </td> 
 <td> 负载均衡器 </td> 
 <td> 开启路由功能 （VIP桥接、DIP仅主机） </td> 
 </tr> 
 <tr> 
 <td> rs01 </td> 
 <td> RIP：192.168.100.2 </td> 
 <td> 后端服务器 </td> 
 <td> 网关指向DIP（仅主机） </td> 
 </tr> 
 <tr> 
 <td> rs02 </td> 
 <td> RIP：192.168.100.3 </td> 
 <td> 后端服务器 </td> 
 <td> 网关指向DIP（仅主机） &nbsp; </td> 
 </tr> 
 <tr> 
 <td> rs03 </td> 
 <td> RIP：192.168.100.4 </td> 
 <td> 后端服务器 </td> 
 <td> 网关指向DIP（仅主机） &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

lvs-nat与lvs-fullnat：请求和响应报文都经由Director

lvs-nat：RIP的网关要指向DIP

lvs-fullnat：RIP和DIP未必在同一IP网络，但要能通信

lvs-dr与lvs-tun：请求报文要经由Director，但响应报文由RS直接发往Client

lvs-dr：通过封装新的MAC首部实现，通过MAC网络转发

lvs-tun：通过在原IP报文外封装新IP头实现转发，支持远距离通信

## 四、LVS ipvsadm 命令的使用 ##

1、yum install **ipvsadm** -y \#在LVS-server安装lvs管理软件

程序包：ipvsadm（LVS管理工具）

Unit File: ipvsadm.service

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save

规则重载工具：/usr/sbin/ipvsadm-restore

配置文件：/etc/sysconfig/ipvsadm-config

2、选项

① -A --add-service 在服务器列表中新添加一条新的虚拟服务器记录

\-t 表示为tcp服务

\-u 表示为udp服务

\-s --scheduler 使用的调度算法， rr | wrr | lc | wlc | lblb | lblcr | dh | sh | sed | nq 默认调度算法是 wlc

例：ipvsadm -A -t 192.168.1.2:80 -s wrr

② -a --add-server 在服务器表中添加一条新的真实主机记录

\-t --tcp-service 说明虚拟服务器提供tcp服务

\-u --udp-service 说明虚拟服务器提供udp服务

\-r --real-server 真实服务器地址

\-m --masquerading 指定LVS工作模式为NAT模式

\-w --weight 真实服务器的权值

\-g --gatewaying 指定LVS工作模式为直接路由器模式（也是LVS默认的模式）

\-i --ip 指定LVS的工作模式为隧道模式

\-p 会话保持时间，定义流量呗转到同一个realserver的会话存留时间

例：ipvsadm -a -t 192.168.1.2:80 -r 192.168.2.10:80 -m -w 1

③ -E -edit-service 编辑内核虚拟服务器表中的一条虚拟服务器记录。

\-D -delete-service 删除内核虚拟服务器表中的一条虚拟服务器记录。

\-C -clear 清除内核虚拟服务器表中的所有记录。

\-R -restore 恢复虚拟服务器规则

\-S -save 保存虚拟服务器规则，输出为-R 选项可读的格式

\-e -edit-server 编辑一条虚拟服务器记录中的某条真实服务器记录

\-d -delete-server 删除一条虚拟服务器记录中的某条真实服务器记录

\-L|-l –list 显示内核虚拟服务器表

--numeric, -n：以数字形式输出地址和端口号

\--exact：扩展信息，精确值

\--connection，-c：当前IPVS连接输出

\--stats：统计信息

\--rate ：输出速率信息

参数也可以从/proc/net/ip\_vs\*映射文件中查看

\-Z –zero 虚拟服务表计数器清零（清空当前的连接数量等）

## 五、实现LVS持久连接 ##

1、定义

由于HTTP是一种无状态协议，每次请求完毕之后就立即断开了，当用户浏览购物网站挑选商品的时候，看到一件商品加入购物车，此过程被重定向到了REALSERVER1上面来，当把第二件商品加入购物车又被重定向到了REALSERVER2上面，最后结账的时候在REALSERVER2上面，只有一件商品，这显然是用户无法接受的，此时就需要一种持久连接机制，来把同一用户的HTTP请求在超时时间内都重定向到同一台REALSERVER，超时时间可以自己定义，比如说2个小时，在超时时间内服务器会不断追踪用户的访问请求，把某一用户的所有请求都转发到同一台REALSERVER上面

对于电子商务网站来说，用户在挑选商品的时候使用的是80端口来浏览的，当付款的时候则是通过443的ssl加密的方式，当然当用户挑选完商品付款的时候我们当然不希望https的443跳转到另外一台REALSERVER，很显然应该是同一REALSERVER才对，这时候就要用到基于防火墙标记的持久连接，通过定义端口的姻亲关系来实现

2、功能：

无论ipvs使用何种scheduler，其都能够实现在指定时间范围内始终将来自同一个ip地址的请求发往同一个RS；此功能是通过lvs持久连接模板实现，其与调度方法无关；

iptables -t mangle -A PREROUTING -d 172.16.100.100 -p tcp --dport 80 -j MARK --set-mark 99

\#在iptables 打上标记，把80端口标记为99

iptables -t mangle -A PREROUTING -d 172.16.100.100-p tcp --dport 443 -j MARK --set-mark 99

\#在iptables打上标记，把443端口标记为99

ipvsadm -A -f 99 -s rr -p

\#在lvs上建立基于99号标记的虚拟服务

ipvsadm -a -f 99 -r 172.16.100.2 -g

\#设置后端服务地址

pvsadm -a -f 99 -r 172.16.100.3 -g

[1216496-20171104195646201-164801771.png]: /images/20220206/682bde9b1b194ca5b88cad5ed0153047.png
[1216496-20171104195646779-1808181772.png]: /images/20220206/d5ccb76f92ef48dba3dd7a10354714bb.png
[1216496-20171104195647154-844173473.png]: /images/20220206/2e8c1bd9fdff46b7a7817b7dfc587768.png
[1216496-20171104195647435-6995388.png]: /images/20220206/934f0b79a191472291dbf81224314b6d.png
[1216496-20171104195647763-946588891.png]: /images/20220206/67838c917c2e482bbeb9422ae8432af3.png
[1216496-20171104195648091-1186638337.png]: /images/20220206/504645bfd2e54a838622ec24e591449c.png
[1216496-20171104195648529-1556710994.png]: /images/20220206/1823929125c641fd86a9e1ed1677cb89.png
[1216496-20171104195648935-525866155.png]: /images/20220206/cb04c38ee23e4e3da1286e6da31d295b.png
[1216496-20171104195649248-1705324201.png]: /images/20220206/2647b279a84e402a9d3e077c432d51a7.png
[1216496-20171104195649607-540503453.png]: /images/20220206/059c1c90c0d3424ea82337575b77f6b6.png
[1216496-20171104195649951-2027809396.png]: /images/20220206/fd33abbdbfa646a7b7082b9e15ee800b.png