Keepalived+lvs+httpd之负载均衡

r囧r小猫 2022-07-16 11:39 164阅读 0赞

1、软件介绍

keepalived：顾名思义是保持存活，常用来搭建设备的高可用，防止业务核心设备出现单点故障。keepalived主要用作realserver的健康检查以及负载均衡主机和backup主机之间的故障漂移。

单点故障：在公司整个业务流程中，某一点出现故障就会导致整个系统架构不可用，单点故障常发生在数据库、核心业务系统等。对此我们的解决办法是对核心业务系统进行高可用负载均衡。

LVS：Linux    Virtual    Server，linux虚拟服务器，是一个虚拟的服务器集群系统。目前有三种负载均衡技术（VS/NAT、VS/TUN和VS/DR）；十种调度算法（rrr|wrr|lc|wlc|lblcr|lblc|dh|sh|sed|nq）。

2、实验拓扑图。

本次实验一共用到4台服务器，其中两台服务器用来搭建keepalived+lvs，另两台是对外提供服务的web服务器。

本次实验用到了5个ip地址。

Master：10.68.4.201                  Backup：10.68.4.58

web1：10.68.4.198                    web2:10.68.4.248

virtualIP：10.68.4.199

![155436_AB7r_2322690.png][]

3、拓扑图介绍

keepalived--master和keepalived--backup  两者之间通过vrrp协议利用组播进行通信，master主机对外接受请求并将请求转发至后方的realserver，backup主机只接受请求而不转发请求。某时刻当backup主机没有接受到master主机发送的信息时，于是发送vrrp通告信息并广播arp信息，宣城自己是master，如果收到其他主机发送的通告信息的优先级比自己的高，那么自己将继续转为backup，优先级别高的机器，此时就是新master主机，并接替原master主机的工作。

每个keepalived机器都对后方的realserver进行监控，只不过master负责将外部请求转发至后方的realserver，backup则不作该处理。

4、keepalived安装

keepalived的安装参照这篇博客[http://my.oschina.net/zyc1016/blog/138574?p=2\#comments][http_my.oschina.net_zyc1016_blog_138574_p_2_comments]

keepalived的配置参照这篇博客[http://bbs.nanjimao.com/thread-845-1-1.html][http_bbs.nanjimao.com_thread-845-1-1.html]

安装的过程中，如果报错

checking for IPVS syncd support... yes  
                    checking for kernel macvlan [support][]... no  
                    checking whether SO\_MARK is declared... no  
                    configure: error: No SO\_MARK declaration in headers

那么只需要在编译时，添加--disable-fwmark参数即可。最后确保如下几项为yes状态即可，加粗一定得是yes。

Use IPVS Framework : Yes IPVS sync daemon support : Yes IPVS use libnl : Yes Use VRRP Framework : Yes

! Configuration File for keepalived
    
    global_defs {
       notification_email {
       }
       router_id LVS_DEVEL
    }
    
    vrrp_instance VI_1 {    #定义一个vrrp组，组名唯一  
        state MASTER        #定义改主机为keepalived的master主机
        interface eth0      #监控eth0号端口  
        virtual_router_id 58   #虚拟路由id号为58，id号唯一，这个id决定了多播的MAC地址
        priority 150         #设置本节点的优先级，master的优先级 要比backup的优先级别高，数值要大
        advert_int 1         #检查间隔，默认为1秒
        authentication {
            auth_type PASS    #认证方式，密码认证
            auth_pass 1111    #认证的密码，这个密码必须和backup上的一致
        }
        virtual_ipaddress {    #设置虚拟的ip， 这个ip是以后对外提供服务的ip。
            10.68.4.199
        }
    }
    
    virtual_server 10.68.4.199 80 {    #虚拟主机设置，ip同上。
        delay_loop 2                  #服务器轮询的时间间隔
        lb_algo rr                    #lvs的调度算法
        lb_kind DR                    #lvs的集群模式
        nat_mask 255.255.255.0
        persistence_timeout 50        #会话超时50s
        protocol TCP                  #健康检查是用tcp还是udp
    
        real_server 10.68.4.248 80 {    #后端真实主机1
            weight 100                #每台机器的权重，0表示不给该机器转发请求，知道它恢复正常。
            TCP_CHECK {                #健康检查项目，以下
                connect_timeout 3
                nb_get_retry 3
                delay_before_retry 3
                connect_port  80
            }
        }
    
        real_server 10.68.4.198 80 {        #后端真实主机2
            weight 100                    #每台机器的权重，0表示不给该机器转发请求，知道它恢复正常。
            TCP_CHECK {                    #健康检查项目，以下
                connect_timeout 3
                nb_get_retry 3
                delay_before_retry 3
                connect_port  80
            }
        }
    }

backup主机的配置基本同上，只有以下地方需要修改。

state BACKUP        #定义改主机为keepalived的backup主机，监控主master priority 100         #设置本节点的优先级，数值要比master主机上的小

测试keepalived的故障漂移，

首先，在10.68.4.201和10.68.4.58上同时启动keepalived，此时观察master主机和backup主机

![174313_lxop_2322690.png][]

![174314_B3ZQ_2322690.png][]

可以看出虚拟ip此时绑定在4.201--master上，然后停止4.201上的keepalived服务

![174705_PWcI_2322690.png][]

![174706_ucju_2322690.png][]

通过查看4.58上的日志，可以看到4.58已经宣告自己是master了。并且虚拟ip也漂移到新的mater机器上。

![175017_0fyW_2322690.png][]

以上的配置，keepalived的高可用功能已经实现。

5、realserver服务器配置

本例中，我在4.198和4.248上，分别安装了httpd，模拟两台web服务器。然后要在两台服务器上配置虚拟vip，这里我写了一个脚本。

#!/bin/bash
    #description: config realserver lo  and  apply noarp
    
    WEB_VIP=10.68.4.199  #虚拟vip，也就是虚拟ip
    . /etc/rc.d/init.d/functions
    
    case "$1" in
    
    start)
       ifconfig lo:0 $WEB_VIP netmask 255.255.255.255 broadcast $WEB_VIP
       /sbin/route add -host $WEB_VIP dev lo:0
       echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "1" > /proc/sys/net/ipv4/conf/eth0/arp_ignore
       echo "2" > /proc/sys/net/ipv4/conf/eth0/arp_announce
       echo "1" > /proc/sys/net/ipv4/conf/default/arp_ignore
       echo "2" > /proc/sys/net/ipv4/conf/default/arp_announce
       sysctl -p >/dev/null 2>&1
       echo "RealServer Start OK"
       ;;
    stop)
       ifconfig lo:0 down
       route del $WEB_VIP >/dev/null 2>&1
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
       echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
       echo "0" > /proc/sys/net/ipv4/conf/eth0/arp_ignore
       echo "0" > /proc/sys/net/ipv4/conf/eth0/arp_announce
       echo "0" > /proc/sys/net/ipv4/conf/default/arp_ignore
       echo "0" > /proc/sys/net/ipv4/conf/default/arp_announce
       echo "RealServer Stoped"
       ;;
    status)
           # Status of LVS-DR real server.
           islothere=`/sbin/ifconfig lo:0 | grep $WEB_VIP`
           isrothere=`netstat -rn | grep "lo:0" | grep $WEB_VIP`
           if [ ! "$islothere" -o ! "isrothere" ];then
             # Either the route or the lo:0 device
             # not found.
             echo "LVS-DR real server Stopped."
           else
             echo "LVS-DR Running."
           fi
    ;;
    *)
           # Invalid entry.
           echo "$0: Usage: $0 {start|status|stop}"
           exit 1
    ;;
    esac
    exit 0

将此脚本分别在4.198和4.248上执行下。此时，我们在两台keepalived的主机上可以查看到如下相同信息。

![180122_Imf2_2322690.png][]

此时，我们通过网页访问10.68.4.199,时，根据ipvsadm查询到的realserver主机的顺序，可以看出此时优先访问4.198.

![181439_Nhzr_2322690.png][]

而当我们将4.198这台机器的httpd的服务停掉，首先可以看到两台keepalived主机都会将4.198这台机器剔除，此时我们再次查询时ipvsadm，只可以看到一台web服务器，再次页面访问，这时就是在访问4.248这台机器了。

![181440_3z6l_2322690.png][]

![181441_UX3Z_2322690.png][]

![181441_AzkB_2322690.png][]

而当我们修复好4.198机器后，keepalived又会自动将改服务器添加进来。

![181358_rIVP_2322690.png][]

从上面的测试可知，lvs的负载均衡功能已经实现。

6、我碰到过的问题

![095713_9FAl_2322690.png][]

页面乜有任何显示，思来想去就是找不到问题出在哪？    后面从论坛上看到一位网友也出现同样的问题，细问下才知导致这个问题出现是因为我们keepalived.conf 文件   的书写格式存在问题，后面我回去重新检查了下，发现少写了一个 “\}”  keepalived启动时不会检测keepalived.conf 配置文件语法格式。 所以以后再配置书写时，一定要格外注意啊。

[155436_AB7r_2322690.png]: /images/20220716/d1c04de355254b178be4378d951ab942.png
[http_my.oschina.net_zyc1016_blog_138574_p_2_comments]: http://my.oschina.net/zyc1016/blog/138574?p=2#comments
[http_bbs.nanjimao.com_thread-845-1-1.html]: http://bbs.nanjimao.com/thread-845-1-1.html
[support]: http://cpro.baidu.com/cpro/ui/uijs.php?adclass=0&app_id=0&c=news&cf=1001&ch=0&di=128&fv=15&is_app=0&jk=257095aa2e99c6a5&k=support&k0=support&kdi0=0&luki=3&n=10&p=baidu&q=95021150_cpr&rb=0&rs=1&seller_id=1&sid=a5c6992eaa957025&ssp2=1&stid=0&t=tpclicked3_hc&td=1907040&tu=u1907040&u=http%3A%2F%2Fwww%2Eiyunv%2Ecom%2Fthread%2D47112%2D1%2D1%2Ehtml&urlid=0
[174313_lxop_2322690.png]: /images/20220716/05d5d6cce820465db699606e4c9bacdc.png
[174314_B3ZQ_2322690.png]: /images/20220716/0247fa0d125541d594b3fc3754c0b7ef.png
[174705_PWcI_2322690.png]: /images/20220716/8335458575ea43928980818006eba672.png
[174706_ucju_2322690.png]: /images/20220716/aa9435b967294d21a3152af7eb28aa88.png
[175017_0fyW_2322690.png]: /images/20220716/d70b9d8bb37f47829280cf25d2af72c5.png
[180122_Imf2_2322690.png]: /images/20220716/5b0efbf9e5a34269a7e017b465e2ed45.png
[181439_Nhzr_2322690.png]: /images/20220716/349e0c43e19d4db3a123a830fe8d6fc3.png
[181440_3z6l_2322690.png]: /images/20220716/b298623b1ca34c12b316fb7d1016fb0f.png
[181441_UX3Z_2322690.png]: /images/20220716/1976dd2286664e059277fc5239b9d1df.png
[181441_AzkB_2322690.png]: /images/20220716/24b8098dec664d5db08065c3a472f32b.png
[181358_rIVP_2322690.png]: /images/20220716/cf12d3eb3537414aa5364017041e72ac.png
[095713_9FAl_2322690.png]: /images/20220716/6e9c25bdfb194e69ae204ef36a61dac1.png