企业系统LVS集群（一）----基础知识（关于3种模式和十种调度算法）

客官°小女子只卖身不卖艺 2023-05-31 02:45 8阅读 0赞

lvs(LB集群的一个实现)  
硬件:F5 BIG-IP

软件：
    lvs（四层）
    haproxy
    nginx （七层）
    varnish

lvs附着于netfiler  
五个内置的钩子函数  
PREROUTING —> INPUT（流向内部)  
PREROUTING----> FORWARD —> POSTROUTING(转发)‘  
OUTPUT—> POSTROUTING(流向外部)

1.  当用户向负载均衡调度器（Director Server）发起请求，调度器将请求发往至内核空间
2.  PREROUTING链首先会接收到用户请求，判断目标IP确定是本机IP，将数据包发往INPUT链
3.  IPVS是工作在INPUT链上的，当用户请求到达INPUT时，IPVS会将用户请求和自己已定义好的集群服务进行比对，如果用户请求的就是定义的集群服务，那么此时IPVS会强行修改数据包里的目标IP地址及端口，并将新的数据包发往POSTROUTING链
4.  POSTROUTING链接收数据包后发现目标IP地址刚好是自己的后端服务器，那么此时通过选路，将数据包最终发送给后端的服务器

lvs工作于INPUT  
PREROUTING —> INPUT(lvs在此强行改变数据流向)—>POSTROUTING

lvs是由两部份组成的  
ipvs(ip virrual server):一段代码(工作在内核)是真正生效实现调度的代码  
ipvsadm（工作在用户空间，负责为ipvs内核框架编写规则）

ipvsadm(工作在用户空间的命令行工具 写具体的规则 用于管理集群服务)/ipvs(工作在内核中的netfilter input钩子函数上)

lvs相关术语

1.  DS：Director Server。指的是前端负载均衡器节点。
2.  RS：Real Server。后端真实的工作服务器。
3.  VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址。
4.  DIP：Director Server IP，主要用于和内部主机通讯的IP地址。
5.  RIP：Real Server IP，后端服务器的IP地址。
6.  CIP：Client IP，访问客户端的IP地址。

lvs type:  
lvs-nat  
多目标的DNAT：通过修改请求报文的目标IP地址(同时可能会修改目标端口)，至挑选出某RS的RIP地址实现转发  
1.RS和DIP应该使用私网地址，且RS的网关要指向DIP  
2.请求和响应报文都要经由director转发，极高负载的场景中，director可能会成为系统瓶颈  
3.RS可以使用任意OS  
4.RS的RIP和Director的DIP必须要在同一IP网络：RS的网关要指向DIP  
\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#  
(a). 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP  
(b). PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链  
©. IPVS比对数据包请求的服务是否为集群服务，若是，修改数据包的目标IP地址为后端服务器IP，然后将数据包发至POSTROUTING链。 此时报文的源IP为CIP，目标IP为RIP  
(d). POSTROUTING链通过选路，将数据包发送给Real Server  
(e). Real Server比对发现目标为自己的IP，开始构建响应报文发回给Director Server。 此时报文的源IP为RIP，目标IP为CIP  
(f). Director Server在响应客户端前，此时会将源IP地址修改为自己的VIP地址，然后响应给客户端。 此时报文的源IP为VIP，目标IP为CIP

lvs-dr(direct routing)
    	它通过修改请求报文的目标mac地址进行转发
    Director:VIP DIP
    RS:VIP RIP
    1.保证前端路由器将目标IP为VIP的请求报文发送给director(静态绑定 arptables 修改rs主机内核的参数)
    2.rs的rip可以使用私有地址，但也可以使用公网地址
    3.请求报文经由director调度，但向英国报文一定不能经由director
    4.rs跟director必须在同一物理网络中(同一物理网络不等于同网段)
    5.RS网关不能指向dip

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#  
(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP  
(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链  
© IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。 此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址  
(d) 由于DS和RS在同一个网络中，所以是通过二层来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。  
(e) RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。 此时的源IP地址为VIP，目标IP为CIP  
(f) 响应报文最终送达至客户端

lvs-tun(ip tunneling)（在原有的IP报文外再次封装多一层IP首部，内部IP首部(源地址为CIP，目标IP为VIP)，外层IP首部(源地址为DIP，目标IP为RIP)）
    不修改请求报文的ip首部(cip---vip)，而是通过在原有的ip首部(dip--rip)，再封装一个ip首部
    1.rip dip vip 全是公网地址
    2.rs的网关不能指向dip
    3.请求报文必须经由director调度，但响应报文必须不能经由director
    4.rs的os必须支持隧道功能

\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#\#  
(a) 当用户请求到达Director Server，此时请求的数据报文会先到内核空间的PREROUTING链。 此时报文的源IP为CIP，目标IP为VIP 。  
(b) PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链  
© IPVS比对数据包请求的服务是否为集群服务，若是，在请求报文的首部再次封装一层IP报文，封装源IP为为DIP，目标IP为RIP。然后发至POSTROUTING链。 此时源IP为DIP，目标IP为RIP  
(d) POSTROUTING链根据最新封装的IP报文，将数据包发至RS（因为在外层封装多了一层IP首部，所以可以理解为此时通过隧道传输）。 此时源IP为DIP，目标IP为RIP  
(e) RS接收到报文后发现是自己的IP地址，就将报文接收下来，拆除掉最外层的IP后，会发现里面还有一层IP首部，而且目标是自己的lo接口VIP，那么此时RS开始处理此请求，处理完成之后，通过lo接口送给eth0网卡，然后向外传递。 此时的源IP地址为VIP，目标IP为CIP  
(f) 响应报文最终送达至客户端

\#\#配置内核参数  
\#\#arp\_ignore和arp\_announce参数都和ARP协议相关，主要用于控制系统返回arp响应和发送arp请求时的动作。这两个参数很重要，特别是在LVS的DR场景下，它们的配置直接影响到DR转发是否正

###  ###

arp\_ignore参数的作用是控制系统在收到外部的arp请求时，是否要返回arp响应  
1：只响应目的IP地址为接收网卡上的本地地址的arp请求  
arp\_announce的作用是控制系统在对外发送arp请求时，如何选择arp请求数据包的源IP地址  
2：忽略IP数据包的源IP地址，选择该发送网卡上最合适的本地地址作为arp请求的源IP地址

keepalived:–>vrrp—>路由器的高可用(一个master 多个backup vip)

keepalived是什么：  
keepalived是集群管理中保证集群高可用的一个服务软件(防止单点故障)  
它能够保证当个别节点宕机时，整个网络可以不间断地运行，所以，Keepalived 一方面具有配置管理LVS的功能，同时还具有对LVS下面节点进行健康检查的功能，另一方面也可实现系统网络服务的高可用功能

keepalived工作原理  
keepalived是以VRRP协议为实现基础的，VRRP全称Virtual Router Redundancy Protocol，即虚拟路由冗余协议。  
虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将N台提供相同功能的路由器组成一个路由器组，这个组里面有一个master和多个backup，master上面有一个对外提供服务的vip（该路由器所在局域网内其他机器的默认路由为该vip），master会发组播，当backup收不到vrrp包时就认为master宕掉了，这时就需要根据VRRP的优先级来选举一个backup当master。这样的话就可以保证路由器的高可用了

Keepalived高可用故障切换转移原理  
Keepalived高可用服务对之间的故障切换转移，是通过 VRRP (Virtual Router Redundancy Protocol ,虚拟路由器冗余协议）来实现的。  
　　在 Keepalived服务正常工作时，主 Master节点会不断地向备节点发送（多播的方式）心跳消息，用以告诉备Backup节点自己还活看，当主 Master节点发生故障时，就无法发送心跳消息，备节点也就因此无法继续检测到来自主 Master节点的心跳了，于是调用自身的接管程序，接管主Master节点的 IP资源及服务。而当主 Master节点恢复时，备Backup节点又会释放主节点故障时自身接管的IP资源及服务，恢复到原来的备用角色。  
　　那么，什么是VRRP呢？  
　　VRRP ,全 称 Virtual Router Redundancy Protocol ,中文名为虚拟路由冗余协议 ，VRRP的出现就是为了解决静态踣甶的单点故障问题，VRRP是通过一种竞选机制来将路由的任务交给某台VRRP路由器的

面试中的文字表述：  
Keepalived的工作原理：  
　　Keepalived高可用对之间是通过VRRP通信的，因此，我们从 VRRP开始了解起：  
　　　　1) VRRP,全称 Virtual Router Redundancy Protocol,中文名为虚拟路由冗余协议，VRRP的出现是为了解决静态路由的单点故障。  
　　　　2) VRRP是通过一种竟选协议机制来将路由任务交给某台 VRRP路由器的。  
　　　　3) VRRP用 IP多播的方式（默认多播地址（224.0\_0.18))实现高可用对之间通信。  
　　　　4) 工作时主节点发包，备节点接包，当备节点接收不到主节点发的数据包的时候，就启动接管程序接管主节点的开源。备节点可以有多个，通过优先级竞选，但一般 Keepalived系统运维工作中都是一对。  
　　　　5) VRRP使用了加密协议加密数据，但Keepalived官方目前还是推荐用明文的方式配置认证类型和密码。

介绍完 VRRP,接下来我再介绍一下 Keepalived服务的工作原理：  
　　Keepalived高可用对之间是通过 VRRP进行通信的， VRRP是遑过竞选机制来确定主备的，主的优先级高于备，因此，工作时主会优先获得所有的资源，备节点处于等待状态，当主挂了的时候，备节点就会接管主节点的资源，然后顶替主节点对外提供服务。  
　　在 Keepalived服务对之间，只有作为主的服务器会一直发送 VRRP广播包,告诉备它还活着，此时备不会枪占主，当主不可用时，即备监听不到主发送的广播包时，就会启动相关服务接管资源，保证业务的连续性.接管速度最快可以小于1秒。