Nginx笔记(二)----Nginx高可用(HA)之Keepalived

绝地灬酷狼 2022-05-24 13:22 94阅读 0赞

**一、Keepalived简介**

Keepalived是一个免费开源的，用C编写的类似于layer3, 4 & 7交换机制软件，具备我们平时说的第3层、第4层和第7层交换机的功能。

![2018052811231457][]

Keepalived是Linux下一个轻量级别的高可用解决方案。高可用(High Avalilability,HA)，其实两种不同的含义：广义来讲，是指整个系统的高可用行，狭义的来讲就是之主机的冗余和接管，

Keepalived主要提供loadbalancing（负载均衡）和 high-availability（高可用）功能，负载均衡实现需要依赖Linux的虚拟服务内核模块（ipvs），而高可用是通过VRRP协议实现多台机器之间的故障转移服务。

keepalived能够配置文件中的定义生成ipvs规则，并能够对各RS的健康状态进行检测，通过共用的虚拟IP地址对外提供服务，每个热备组内同一时刻只有一台主服务器提供服务，其他服务器处于冗余状态，若当前在线的服务器宕机，其虚拟IP地址将会被其他服务器接替（优先级决定接替顺序），实现高可用为后端主机提供服务。

**二、VRRP协议与工作原理**

在现实的网络环境中。主机之间的通信都是通过配置静态路由或者(默认网关)来完成的，而主机之间的路由器一旦发生故障，通信就会失效，因此这种通信模式当中，路由器就成了一个单点瓶颈，为了解决这个问题，就引入了VRRP协议。  
  
VRRP协议，它是一种主备模式的协议，通过VRRP可以在网络发生故障时透明的进行设备切换而不影响主机之间的数据通信，这其中涉及到两个概念：物理路由器和虚拟路由器。  
  
VRRP可以将两台或者多台物理路由器设备虚拟成一个虚拟路由，这个虚拟路由器通过虚拟IP（一个或者多个)对外提供服务，而在虚拟路由器内部十多个物理路由器协同工作，同一时间只有一台物理路由器对外提供服务，这台物理路由设备被成为：主路由器（Master角色)，一般情况下Master是由选举算法产生，它拥有对外服务的虚拟IP，提供各种网络功能，如：ARP请求，ICMP 数据转发等，而且其它的物理路由器不拥有对外的虚拟IP，也不提供对外网络功能，仅仅接收MASTER的VRRP状态通告信息，这些路由器被统称为“BACKUP的角色”，当主路由器失败时，处于BACKUP角色的备份路由器将重新进行选举，产生一个新的主路由器进入MASTER角色，继续提供对外服务，整个切换对用户来说是完全透明的。

每个虚拟路由器都有一个唯一的标识号，称为VRID，一个VRID与一组IP地址构成一个虚拟路由器，在VRRP协议中，所有的报文都是通过IP多播方式发送，而在一个虚拟路由器中，只有处于Master角色的路由器会一直发送VRRP数据包，BACKUP角色的路由器只会接受Master角色发送过来的报文信息用来监控Master运行状态，而当MASTER不可用时，BACKUP也就无法收到Master发过来的信息，于是就认为Master出现故障，接着多台BAKCUP就会进行选举，优先级最高的BACKUP将称为新的MASTER，这种选举角色切换非常之快，因而保证了服务的持续可用性；

对于VRRP需要清楚知道的是：

1）VRRP是用来实现路由器冗余的协议。  
2）VRRP协议是为了消除在静态缺省路由环境下路由器单点故障引起的网络失效而设计的主备模式的协议，使得发生故障而进行设计设备功能切换时可以不影响内外数据通信，不需要再修改内部网络的网络参数。  
3）VRRP协议需要具有IP备份，优先路由选择，减少不必要的路由器通信等功能。  
4）VRRP协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器IP（一个或多个）。然而，在路由器组内部，如果实际拥有这个对外IP的路由器如果工作正常的话，就是master，或者是通过算法选举产生的，MASTER实现针对虚拟路由器IP的各种网络功能，如ARP请求，ICMP，以及数据的转发等，其他设备不具有该IP，状态是BACKUP。除了接收MASTER的VRRP状态通告信息外，不执行对外的网络功能，当主级失效时，BACKUP将接管原先MASTER的网络功能。  
5）VRRP协议配置时，需要配置每个路由器的虚拟路由ID(VRID)和优先权值，使用VRID将路由器进行分组，具有相同VRID值的路由器为同一个组，VRID是一个0-255的整整数，；同一个组中的路由器通过使用优先权值来选举MASTER。，优先权大者为MASTER，优先权也是一个0-255的正整数。

**三、Keepalvied的工作原理**

Keepalived工作在TCP/IP模型的：网络层，传输层和应用层，根据TCP、IP参数模型隔层所能实现的功能，Keepalived运行机制如下：

**在网络层**：我们知道运行这4个重要的协议，互联网络IP协议，互联网络可控制报文协议ICMP、地址转换协议ARP、反向地址转换协议RARP，在网络层Keepalived在网络层采用最常见的工作方式是通过ICMP协议向服务器集群中的每一个节点发送一个ICMP数据包(有点类似与Ping的功能)，如果某个节点没有返回响应数据包，那么认为该节点发生了故障，Keepalived将报告这个节点失效，并从服务器集群中剔除故障节点。  
  
**在传输层**：提供了两个主要的协议：传输控制协议TCP和用户数据协议UDP，传输控制协议TCP可以提供可靠的数据输出服务、IP地址和端口，代表TCP的一个连接端，要获得TCP服务，需要在发送机的一个端口和接收机的一个端口上建立连接，而Keepalived在传输层里利用了TCP协议的端口连接和扫描技术来判断集群节点的端口是否正常，比如对于常见的WEB服务器80端口。或者SSH服务22端口，Keepalived一旦在传输层探测到这些端口号没有数据响应和数据返回，就认为这些端口发生异常，然后强制将这些端口所对应的节点从服务器集群中剔除掉。

**在应用层**：可以运行FTP，TELNET，SMTP，DNS等各种不同类型的高层协议，Keepalived的运行方式也更加全面化和复杂化，用户可以通过自定义Keepalived工作方式，例如：可以通过编写程序或者脚本来运行Keepalived，而Keepalived将根据用户的设定参数检测各种程序或者服务是否允许正常，如果Keepalived的检测结果和用户设定的不一致时，Keepalived将把对应的服务器从服务器集群中剔除

keepalived高可用架构示意图

![20180528115810701][]

**四、keepalived组件**

keepalived组件如下所示:

![20180528113853468][]

上图是Keepalived的功能体系结构，keepalived也是模块化设计，不同模块复杂不同的功能，它主要有三个模块，分别是core、check和VRRP，其中：

◆core模块：为keepalived的核心组件，负责主进程的启动、维护以及全局配置文件的加载和解析；  
◆check：负责健康检查，包括常见的各种检查方式；  
◆VRRP模块：是来实现VRRP协议的。

大致分两层：用户空间（user space）和内核空间（kernel space）。

**▲ 内核空间**：主要包括IPVS（IP虚拟服务器，用于实现网络服务的负载均衡）和NETLINK（提供高级路由及其他相关的网络功能）两个部份。

●IPVS模块是可配置的，如果需要负载均衡功能，可以在编译Keepalived时开打负载均衡功能，也可以通过编译参数关闭。

●NetLINK模块主要用于实现一些高级路由框架和一些相关参数的网络功能，完成用户空间层Netlink Reflector模块发来的各种网络请求。

**▲ 用户空间**：

●WatchDog：负载监控checkers和VRRP进程的状况  
       ●VRRP Stack：负载负载均衡器之间的失败切换FailOver，如果只用一个负载均稀器，则VRRP不是必须的。  
       ●Checkers：负责真实服务器的健康检查healthchecking，是keepalived最主要的功能。换言之，可以没有VRRP Stack，但健康检查healthchecking是一定要有的。  
       ●IPVS wrapper：用户发送设定的规则到内核ipvs代码

●Netlink Reflector：用来设定vrrp的vip地址等。

**五、Keepalived的作用**

Keepalived主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现。Keepalived的作用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的web服务器。

keepalived服务的三个重要功能

(1)管理LVS负载均衡软件

(2)实现LVS集群节点的健康检查中

(3)作为系统网络服务的高可用性（failover）

**六、keepalived的配置文件**

keepalived只有一个配置文件keepalived.conf，配置文件里面主要包括以下几个配置项，分别是global\_defs、static\_ipaddress、static\_routes、VRRP\_script、VRRP\_instance和virtual\_server。

总的来说，keepalived主要有三类区域配置，注意不是三种配置文件，是一个配置文件里面三种不同类别的配置区域：  
1）全局配置(Global Configuration)  
2）VRRPD配置

3）LVS配置

下面是配置文件的一张结构图，每个节点都有相应的解析。

![20180529114323686][]

**七、Keepalived高可用(HA)分类**

keepalived的HA分为:

(1)、抢占模式

(2)、非抢占模式

抢占模式即MASTER从故障中恢复后，会将VIP从BACKUP节点中抢占过来。非抢占模式即MASTER恢复后不抢占BACKUP升级为MASTER后的VIP。

**八、Nginx+Keepalived高可用方案**

高可用方案有如下两种:

**1、Nginx+keepalived 主从配置(双机主从热备)**

这种方案，使用一个vip地址，前端使用2台机器，一台做主，一台做备，但同时只有一台机器工作，另一台备份机器在主机器不出现故障的时候，永远处于浪费状态，对于服务器不多的网站，该方案不经济实惠。

双机热备，意思是说两台机器一台处于运行中，另一台永久处于备份。这样的话资源浪费严重，适用于国企,政府类系统。

网上找的一些拓扑图:

![20180528132541617][]

![20180528132702371][]

![20180529124350749][]

**2、Nginx+keepalived 双主配置(双机双主热备)**

这种方案，使用两个vip地址，前端使用2台机器，互为主备，同时有两台机器工作，当其中一台机器出现故障，两台机器的请求转移到一台机器负担，非常适合于当前架构环境。

双机双主热备，意味着两台机器同时处于工作状态，两台主机又同时为备份状态。

网上找的一些拓扑图:

![20180528132842826][]

![20180528132850564][]

![20180528133031168][]

![2018052912443072][]

参考:

https://blog.csdn.net/u010028869/article/details/50596805  
https://www.cnblogs.com/clsn/p/8052649.html  
http://www.cnblogs.com/edisonchou/p/4281978.html

[2018052811231457]: /images/20220524/76883ee15fce49c497241f666a8cbc7d.png
[20180528115810701]: /images/20220524/df4bda6cce88436aa754fa2cb3f85ab4.png
[20180528113853468]: /images/20220524/62a87159469641578f9c6895be6bb9c0.png
[20180529114323686]: /images/20220524/0658285d33244d8fb4b5b6df21961a11.png
[20180528132541617]: /images/20220524/d19bed6ae00f485386e6c5ee857e2041.png
[20180528132702371]: /images/20220524/47eb17641a2e4499b6ad13963809e896.png
[20180529124350749]: /images/20220524/527269d0c9304b3ca2172fe5d756d37c.png
[20180528132842826]: /images/20220524/98b147f68548463d906b5ff43d3af6c4.png
[20180528132850564]: /images/20220524/30b3fd7e4a6d4b66a84e4c8248fd3e16.png
[20180528133031168]: /images/20220524/fbd951dec3204abca2defe844fa26ddb.png
[2018052912443072]: /images/20220524/c6d1cd2c8cef4b6f86bf4b8f924fdbd4.png