企业集群平台架构实现与应用实战之LVS集群常见架构

水深无声 2022-01-12 09:41 224阅读 0赞

**一、LVS集群常见架构：**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70][]

**      Load Balancer层（上图没有使用HA高可用）：**位于整个集群系统的最前端，由一台或多台负载调度器（Director Server）组成。LVS核心模板IPVS就安装在Director Server上，而Director的主要作用类似于一个路由器，它含有为完成LVS功能所设定的路由表，通过这些路由表把用户的请求分发给Server Array层的应用服务器（Real Server）。同时，在Director Server上还要安装对Real Server的监控模块Ldirectord，此模块用于检测各个Real Server服务的监控状况。在Real Server不可用时可以将它从lvs路由表中剔除，在恢复时重新加入。

**Server Array****层：**由一组实际运行应用服务的机器组成，Real Server可以是Web服务器、Mail服务器、FTP服务器、DNS服务器、视频服务器中的一个或者多个，每个Real Server之间是通过高速的LAN或者分布在各地的WAN相连接的。在实际的企业应用中，Director Server也可以用时兼任Real Server的角色。

**Shared Storage****层：**是为所有Real Server提供共享存储空间和内容一致性的存储区域，一般由磁盘阵列设备组成。为了提供内容的一致性，一般可以通过NFS（网络文件系统）共享数据，但是NFS在繁忙的业务系统中，性能并不是最好的，此时可以采用集群文件系统，如Redhat的GFS文件系统。

从整个LVS结构中可以看出，Director Server是整个LVS的核心。目前，用于Director Server的操作系统只有linux和FreeBSD，linux 2.6内核完全内置了LVS的各个模块，不用任何设置就可以支持LVS功能。

**二、负载调度算法：**

负载均衡技术有很多种实现方案，有基于DNS域名轮流解析的方法，有基于客户端调度访问的方法，有基于应用层系统负载的调度方法，还有基于IP地址的调度方法，在这些负载调度算法中，执行效率最高的是IP负载均衡技术。

LVS的IP负载均衡技术是通过IPVS模块来实现的，IPVS是LVS集群系统的核心软件，主要作用是: 安装在Director Server上,同时在Director Server上虚拟出一个IP地址,用户必须通过这个虚拟的IP地址访问服务器.这个虚拟IP一般称为LVS的VIP,即Virtual IP。访问的请求首先经过VIP到达负载均衡器，然后由负载调度器从Real Server列表中选取一个服务节点响应用户的请求。

在用户的请求到达负载调度器后，调度器如何将请求发送到提供服务的Real Server节点，而Real Server节点如何返回数据给用户，是IPVS实现的重点技术。IPVS实现负载均衡的方式有三种：NAT（Full NAT）、TUNNEL和DR。

1）DR模式：

下面是DR模式数据传输图:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 1][]

DR模式：即Virtual Server via Director Routing，也就是用直接路由技术实现虚拟服务器。这种方式的连接调度和管理与前两种一样，但是它的报文转发方法有所不同，VS/DR**通过改写请求报文的MAC地址,将请求发送到Real Server,而Real Server将这些响应直接返回给用户,免去了VS/TUN中的IP隧道开销**.这种方式是三种负载调度方式中性能最好的.

下面是DR模式IP包调度过程图:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 2][]

**原理图简述:**

DR模式将报文直接路由给目标真实服务器。在DR模式中，调度器根据各个真实服务器的负载情况，连接数多少等信息动态的选择其中的一台服务器，不修改目标IP地址和目标端口，也不对IP报文进行封装，而是将请求报文的数据帧的目标MAC地址改写为真实服务器的MAC地址。然后再将修改的数据帧在服务器组的局域网上发送。因为数据帧的mac地址是真实服务器的mac地址，并且又在同一个局域网。那么根据局域网的通讯原理，真实复位是一定能够收到lb发出的数据包。真实服务器收到请求数据包的时候，解开IP包头查看到的目标IP是VIP。

此时只有自己的ip符合目标ip才会接收进来，所以我们需要在本地的回环接口上面配置VIP。另：由于网络接口都会进行ARP广播响应，但集群的其他机器都有这个VIP的lo接口,都响应就会出现冲突，所以我们需要将真实服务器的lo接口的ARP响应关闭掉。

然后真实服务器做成请求响应，之后根据自己的路由信息将这个响应数据包发送给客户，并且源IP地址还是VIP。

**DR模式小结：**

1.  通过在调度器LB上修改数据包的目的MAC地址实现转发。注意源地址仍然是CIP，目的地址仍然是VIP地址。
2.  请求的报文经过调度器，而RD响应处理后的报文无需经过调度器LB，因此并发访问量大时使用效率很高（与NAT相比）
3.  因为DR模式是通过mac地址改写机制实现转发，因此所有RS节点和调度器LB只能在一个局域网里面。
4.  RS主机需要绑定VIP地址在LO接口上，并且需要配置ARP抑制。
5.  RS节点的默认网关不需要配置成LB，而是直接配置为上级路由的网关，能让RS直接出网就可以。
6.  由于DR模式的调度器仅做MAC地址的改写，所以调度器LB就不能改写目标端口，哪儿RS服务器就得使用和VIP相同的端口提供服务。

2）NAT、FULL NAT模式：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 3][]

NAT模式：即Virtual Server via Network Address Translation，也就是网络地址翻译技术实现虚拟服务器。当用户请求到达调度器时，调度器将请求报文的目标地址(即虚拟IP地址)改写成选定的Real Server地址,同时将报文的目标端口也改成选定的Real Server的相应端口,最后将报文请求发送到选定的Real Server。在服务器端得到数据后，Real Server将数据返回用户时，需要再次经过负载调度器将报文的源地址和源端口改成虚拟IP地址和相应端口，然后把数据发送给用户，完成整个负载调度过程。

下面是NAT模式IP包调度过程图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 4][]

**原理图简述：**

1.  客户端请求数据，目标IP为VIP
2.  请求数据到达LB服务器，LB根据调度算法将目的地址修改为RIP地址及对应端口（RIP地址是根据调度算法得出的）并在链接Hash表中记录下这个连接。
3.  数据包从LB服务器到达RS服务器webserver，然后webserver进行响应。Webserver的网关必须是LB，然后将数据返回给LB服务器。
4.  收到RS的返回后的数据，根据连接Hash表修改源地址为VIP、目标地址为CIP，及对应端口80，然后数据就从LB出发到达客户端。
5.  客户端收到的就只能看到VIP/DIP信息

**NAT模式优缺点:**

1.  NAT技术将请求的报文和响应的报文都需要通过LB进行地址改写，因此网站访问量比较大的时候，LB负载调度器有比较大的瓶颈，一般要求最多只能10-20台节点
2.  只需要在LB上配置一个公网IP地址就可以了
3.  每台内部的Real Server服务器的网关地址必须是调度器LB的内网地址
4.  NAT模式支持丢IP地址和端口进行转换，即用户请求的端口和真实服务器的端口可以不一致。

**FULL NAT模式：**

FULL NAT的基本原理：

FULL NAT在client请求VIP时，不仅替换了package的dstip,还替换了package的src ip;但VIP返回给client时也替换了srcip。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 5][]

![20190621162025948.png][]

**FULL NAT模式的注意事项:**

1、FULL NAT模式也不需要LBIP和realserver ip在同一个网段;

2、Full nat与nat相比的优点是:保证RS回包一定能够回到LVS;因为源地址就是LVS -> 不确定

3、full nat因为要更新sorcer ip所以性能正常比nat模式下降10%

3）IP TUNNEL模式：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 6][]

TUN：就是通过IP隧道技术实现虚拟服务器。在VS/TUn方式中，调度器采用IP隧道技术将用户请求转发到某个Real Server，而这个Real Server将直接响应用户的请求，不再经过前端调度器。此外，对Real Server的地域位置没有要求，可以和Director Server位于同一个网段，也可以在独立的一个网络中。因此，在TUN方式中，调度器将只处理用户的报文请求，从而是集群系统的吞吐量大大提高。

TUN的工作流程图如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 7][]

它和NAT模式不同的是，它在LB和RS之间的传输不用改写IP地址，而是把客户请求包封装在一个IP tunnel中，然后发给RS节点服务器，节点服务器接收到之后解开IP tunnel后，进行响应处理。并且直接把包通过自己的外网地址发送给客户不用经过LB服务器。

**原理图过程简述：**

1.  客户请求数据包，目标地址VIP发送到LB上
2.  LB接收到客户请求包，进行IP tunnel封装。即在原有的包头加上IP tunnel的包头。然后会根据LVS设置的LB算法选择一个合适的real server；并把dient发送的package包装到一个新的IP包里面；新的IP包的dst是real server的IP。
3.  RS节点服务器根据IP tunnel包头信息收到请求包，real server收到这个package后会判断dst ip是自己，然后解析出来的package的dst是VIP；会检测我们的网卡上是否绑定了VIP的ip地址；如果绑定了就会处理这个包，如果没有则直接丢掉。我们一般是在real server上面lo:0绑定了VIP的ip地址,就可以处理得到客户的请求包并进行响应处理.
4.  响应处理完毕之后，RS服务器使用自己的欧诺个网线路将这个响应数据包发送给客户端。源IP地址是VIP地址。

4）LVS负载调度算法：

LVS的调度算法决定了如何在集群节点之间分布工作负荷。当director调度器收到来自客户端访问VIP上的集群服务的入站请求时，director调度器必须决定哪个集群节点应该处理请求。Director调度器用的调度方法基本分为两类：

固定调度算法：rr,wrr,dh,sh

动态调度算法：wlc,lc,lblc,lblcr

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 8][]

**LVS调度算法的生产环境选型:**

1.  一般的网络服务，如www，mail，mysql等常用的lvs调度算法为：
    
    1.  基本轮询调度rr
    2.  加权最小连接调度wlc
    3.  加权轮询调度wrc
2.  基于局部性的最小连接lblc和带复制的给予局部性最小连接lblcr,主要适用于web cache和DB cache
3.  源地址散列调度SH和目标地址散列调度DH可以结合使用在防火墙集群中,可以保证整个系统的出入口唯一

实际适用中这些算法的适用范围很多,工作中最好参考内核中的来连接调度算法的实现原理,然后根据具体的业务需求选择合理的选型。

**三、高可用LVS集群构建实战：**

高可用架构图:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 9][]

具体的实战操作步骤，请参考上传的word文档《LVS笔记》

\--------------------------------------------------------------------------------------------------------------------------------------------------------------------

用人品去感动别人，用改变去影响别人，用状态去燃烧别人，用行动去带动别人，用阳光去照耀别人，用坚持去赢得别人，要求自己每天都去做与目标有关的事情，哪怕每天只进步一点点，坚持下来你就是最优秀卓越的！欢迎大家加入大数据交流群：725967421     一起交流，一起进步！！

\---------------------------------------------------------------------------------------------------------------------------------------------------------------------

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70]: /images/20220109/5dc002c4365444558a3e1aae640d2092.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 1]: /images/20220109/1d7551d963e44c5fb3a8a4f502effe44.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 2]: /images/20220109/8a0b1c29d52b4d16ad4f80a5e9580d44.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 3]: /images/20220109/54b55fae9ca741caa0bbd635df0695e4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 4]: /images/20220109/4b55aae862f44b50a357c279ea7583e1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 5]: /images/20220109/e466f647f19f41d3a134c4673a7bb52d.png
[20190621162025948.png]: /images/20220109/df0120bd0a6d484a92d605d54cda48bb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 6]: /images/20220109/101d592c9f9c4e9b9f23264591b876c8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 7]: /images/20220109/eb90fe1da89940879eaa1322a948e1bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 8]: /images/20220109/4d023847ec2b4eb2ad86ceb0cb4d0e5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 9]: /images/20220109/2c121e0b21ba448f92f6370650760c98.png