keepalived+Nginx实现高可用集群

心已赠人 2022-12-12 15:26 205阅读 0赞

### 从单体到集群系列目录 ###

[从单体到集群(1) - 使用Nginx配置静态资源并搭建Tomcat集群][1_ - _Nginx_Tomcat]

[从单体到集群(2) - keepalived+Nginx实现高可用集群][2_ - keepalived_Nginx]

[从单体到集群(3) - LVS+Keepalived+Nginx实现高可用集群负载均衡][3_ - LVS_Keepalived_Nginx]

**--------------------------------------------------------------------------------------------------------------------------**

## 1.素材与软件版本 ##

**软件版本：**

**IDAE：**2019.2.2

**VMware：**12.5.2

**虚拟机镜像：**CentOs7.3标准版

**Xshell：**Xshell6

**Postman：**7.33.1

**Tomcat：**8.5.41

**Nginx：**1.18.0稳定版

**keepalived：**2.0.18

项目素材链接放上，需要的朋友请自行下载。后台项目为[foodie-dev][]，前端项目有两个，[foodie-shop][]为前端商城主体项目，[foodie-center][]为前端商城个人中心项目。具体项目配置的话可以看下我的上篇博文[架构篇：从单体到高可用集群(1) - 使用Nginx配置静态资源并搭建Tomcat集群][1_ - _Nginx_Tomcat]

## 2.架构演变目标 ##

在上篇博文中，我们项目的架构由单体Tomcat部署前后台三个项目，演变成了由Nginx为静态资源提供服务同时将请求转发到后面的两个Tomcat集群上。上篇博文中的项目架构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70][]

这样确实保证了后台服务不会因为单节点Tomcat宕机而导致整体服务崩溃，但这样也有一个问题，**用单节点Nginx为tomcat集群作转发，万一Nginx挂了怎么办？****所以我们今天的目标就是为单节点的Nginx搭建集群，确保Nginx的高可用。我们的目标架构如下：keepalived+Nginx高可用集群（双主热备模式）**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 1][]

## 3.**keepalived+Nginx高可用集群（双机主备模式）** ##

### **3.1 安装keepalived** ###

我们先来了解一下主备模式：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 2][]

可以明显的看到主备模式的缺点，假设主机永远不宕机的话，备机一直处在待机模式，无法响应客户的请求，造成资源的浪费。下面我们要说的双主热备模式就可以解决这个问题，主备是双主热备的前提，所以我们先来配置一下主备模式。配置之前我们首先要再去创建一台Nginx虚拟机配置静态资源服务和搭建两台Tomcat集群，创建的步骤省略，不懂的小伙伴可以参考我上篇博文[架构篇：从单体到高可用集群(1) - 使用Nginx配置静态资源并搭建Tomcat集群][1_ - _Nginx_Tomcat]。目前四台虚拟机是已经配置好了：

![20201008164738911.png][]

接下来我们把keepalived安装包上传到/home/software路径下，用tar指令解压：

tar -zxvf keepalived-2.0.18.tar.gz

进入刚解压出的目录，配置并生成Makefile

./configure --prefix=/usr/local/keepalived --sysconf=/etc

然后执行make和make install

make && make install

这样keepalived我们就安装好了

### 3.2 配置**keepalived** ###

进入/etc/keepalived路径，打开配置文件，修改配置文件内容为：

global_defs {
       #路由id：当前安装keepalived节点主机全局唯一标识符
       router_id keepalived_150
    }
    vrrp_instance VI_1 {
        #表示当前主机为主节点
        state MASTER
        #绑定当前实例的网卡，这个需要用ip addr查询自己网卡配置，不一定都是ens33
        interface ens33
        #主备节点识别id，保证主备节点一致 1~255之间
        virtual_router_id 255
        #权值，因为是主节点设置的高一些
        priority 100
        #主备节点之间同步检查时间，单位为s
        advert_int 1
        #授权认证密码
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        #虚拟IP
        virtual_ipaddress {
            192.168.1.140
        }
    }

保存退出后，去/usr/local/keepalived/sbin路径下启动keepalived：

./keepalived

之后用ip addr指令查看一下，可以看到ens33网卡下生成配置好的虚拟IP

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 3][]

同理在151这台机器上也安装一个keepalived，只不过配置文件稍加修改：

global_defs {
       #路由id：当前安装keepalived节点主机全局唯一标识符
       router_id keepalived_151
    }
    vrrp_instance VI_1 {
        #表示当前主机为从节点
        state BACKUP
        #绑定当前实例的网卡，这个需要用ip addr查询自己网卡配置，不一定都是ens33
        interface ens33
        #主备节点识别id，保证主备节点一致
        virtual_router_id 255
        #权值，因为是备用节点设置的低一些
        priority 50
        #主备节点之间同步检查时间，单位为s
        advert_int 1
        #授权认证密码
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        #虚拟IP
        virtual_ipaddress {
            192.168.1.140
        }
    }

**注：keepalived启动需要时间，别刚启动就去ip addr查看虚拟ip，我刚开始安装的时候就搞了半天，一直以为安装失败，汗-\_-||。具体日志在/var/log/messages文件中，如果真的启动失败可以手动查看一下。**

现在两台Nginx就配置好了集群，我们把192.168.1.150这台电脑的keepalived进程Kill掉，再访问192.168.1.140会发现被转发到了192.168.1.151这台电脑上，实现了Nginx的高可用。如果不想每次改完配置文件都去kill进程的话，可以把keepalived配置成系统服务。我们再访问192.168.1.140:90，可以看到后台请求也被转发到了192.168.1.151:90上，页面数据展示正常：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 4][]

但这样的配置存在一个问题就是，如果挂的不是keepalived而是这台电脑上的Nginx的话，keepalived的转发就不会生效，因为它无法识别Nginx服务是否正常，解决方案是可以在keepalived.conf文件中配置对Nginx的定时检查，如果发现Nginx挂了，调用脚本重启Nginx。

### 3.3 配置Nginx服务自动重启 ###

增加Nginx重启检测脚本：

vim /etc/keepalived/check_nginx_alive_or_not.sh

#!/bin/bash
    A=`ps -C nginx --no-header |wc -l`
    # 判断nginx是否宕机，如果宕机了，尝试重启
    if [ $A -eq 0 ];then
        /usr/local/nginx/sbin/nginx
        # 等待一小会再次检查nginx，如果没有启动成功，则停止keepalived，使其启动备用机
        sleep 3
        if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
            killall keepalived
        fi
    fi

增加运行权限

chmod +x /etc/keepalived/check_nginx_alive_or_not.sh

在keepalived配置文件中写入监听nginx脚本

vrrp_script check_nginx_alive {
        script "/etc/keepalived/check_nginx_alive_or_not.sh"
        interval 2 # 每隔两秒运行上一行脚本
        weight 10 # 如果脚本运行失败，则升级权重+10
    }

在 vrrp\_instance 中新增监控的脚本

track_script {
        check_nginx_alive # 追踪 nginx 脚本
    }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 5][]

最后重启keepalived即可，至此keepalived+Nginx高可用集群（双机主备模式）搭建完毕。

## 4.**keepalived+Nginx高可用集群（双主热备模式）** ##

双主热备的原理也很简单，就是在双机主备的基础上再增加一对实例，使192.168.1.150和192.168.1.151这两台虚拟机变成互为主备的关系。这次我们先打开原来的备用机151上keepalived的配置文件，做如下修改：

vrrp_instance VI_2 {
        #实例2中将备机151修改成主节点
        state MASTER
        interface ens33
        #记得同步修改对配id
        virtual_router_id 1
        #因为是主节点，权值加大
        priority 100
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        #将虚拟IP：19.168.1.141绑定到自己的网卡上
        virtual_ipaddress {
            192.168.1.141
        }
    }

同理192.168.1.150这台虚拟机也进行相似的配置：

vrrp_instance VI_2 {
        #这次改为从节点
        state BACKUP
        interface ens33
        #配对id保持一致
        virtual_router_id 1
        priority 50
        advert_int 1
        authentication {
            auth_type PASS
            auth_pass 1111
        }
        #增加虚拟IP：192.168.1.141
        virtual_ipaddress {
            192.168.1.141
        }
    }

之后进行保存重启服务，可以看到150这台电脑绑定的虚拟IP:192.168.1.140，151这台电脑绑定的虚拟IP:192.168.1.141

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 6][]

![20201008184247107.png][]

至此keepalived+Nginx高可用集群（双主热备模式）搭建完毕。细心的小伙伴可能会问，**现在相当于有了两个前端访问入口（192.168.1.140和192.168.1.141），浏览器到底应该写哪一个呢？**再来看一下我们的目标架构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 1][]  
      可以看到前端请求在访问到虚拟IP之前，挡了一层DNS轮训转发，这需要购买一个运营商的DNS服务，在服务中进行配置就可以实现此功能。DNS是基于域名的，因为我没有购买，所以就不能展示项目中这部分的配置了。但是不用急，接下来我会分享一篇“基于LVS+keepalived+Nginx实现高可用集群架构”的文章，欢迎大家来踩。

[1_ - _Nginx_Tomcat]: https://blog.csdn.net/qq_36756682/article/details/108949377
[2_ - keepalived_Nginx]: https://blog.csdn.net/qq_36756682/article/details/108963665
[3_ - LVS_Keepalived_Nginx]: https://blog.csdn.net/qq_36756682/article/details/109011942
[foodie-dev]: https://github.com/L1021204735/foodie-dev
[foodie-shop]: https://github.com/L1021204735/foodie-shop
[foodie-center]: https://github.com/L1021204735/foodie-center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70]: /images/20221123/424d4f73196e4ebf9f3dd0362fcb26e5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 1]: /images/20221123/3698ed89b3e74a59b5aaf7a79e4da002.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 2]: /images/20221123/690dc44124a8455896255bd3d5a3636d.png
[20201008164738911.png]: /images/20221123/a798f211afc14028ad08c043ff6528b7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 3]: /images/20221123/a7707c6e76ca497ea6a67dbdb056d028.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 4]: /images/20221123/c95b2e3215aa437db9f6db6e229f6a03.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 5]: /images/20221123/0161990af4ec42b78de6a4a9a8852a39.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM2NzU2Njgy_size_16_color_FFFFFF_t_70 6]: /images/20221123/ded97216c17d42a0a7073417268bab28.png
[20201008184247107.png]: /images/20221123/68807626b9e945afb79a2a85772cde79.png