Haproxy+keepalived高可用集群实战

刺骨的言语ヽ痛彻心扉 2021-07-26 15:45 493阅读 0赞

![1803089889.png][]

开源Linux

回复“读书”，挑选书籍资料~

![undefined][]

![format_png][]

随着互联网火热的发展，开源负载均衡器的大量的应用，企业主流软件负载均衡如LVS、Haproxy、Nginx等，各方面性能不亚于硬件负载均衡F5，Haproxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。

### Haproxy入门简介 ###

HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。负载均衡LVS是基于四层，新型的大型互联网公司也在采用Haproxy，了解了Haproxy大并发、七层应用等，Haproxy高性能负载均衡优点：

1.HAProxy是支持虚拟主机的，可以工作在4、7层；2.能够补充Nginx的一些缺点比如Session的保持，Cookie的引导等工作；3.支持url检测后端的服务器；4.它跟LVS一样，只是一款负载均衡软件，单纯从效率上来讲HAProxy更会比Nginx有更出色的负载均衡速度，在并发处理上也是优于Nginx的；5.HAProxy可以对Mysql读进行负载均衡，对后端的MySQL节点进行检测和负载均衡，HAProxy的支持多种算法。

Haproxy+Keepalived企业高性能WEB能够支持千万级并发网站，实现Haproxy高性能WEB网站架构配置步骤如下：

### Haproxy安装配置 ###

Haproxy安装配置步骤相对比较简单，跟其他源码软件安装方法大致相同，如下为Haproxy配置方法及步骤： **1.Haproxy编译及安装**

cd /usr/src
    wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.21.tar.gz  
    tar xzf haproxy-1.4.21.tar.gz
    cd haproxy-1.4.21
    make  TARGET=linux26  PREFIX=/usr/local/haproxy/
    make  install  PREFIX=/usr/local/haproxy

**2.配置Haproxy服务**

cd /usr/local/haproxy ;mkdir -p etc/
    touch /usr/local/haproxy/etc/haproxy.cfg

**3.Haproxy.cfg配置文件内容如下**

global
        log 127.0.0.1 local0
        log 127.0.0.1 local1 notice
        maxconn 4096
        uid 99
        gid 99
        daemon
    defaults
        log global
        mode http
        option httplog
        option dontlognull
        retries 3
        option redispatch
        maxconn 2000
        contimeout 5000
        clitimeout 50000
        srvtimeout 50000
    frontend http-in
        bind *:80
        acl is_www.jf1.com hdr_end(host) -i  jf1.com
        acl is_www.jf2.com hdr_end(host) -i  jf2.com
        use_backend  www.jf1.com  if  is_www.jf1.com
        use_backend  www.jf2.com  if  is_www.jf2.com
        default_backend  www.jf1.com
    backend www.jf1.com
        balance roundrobin
        cookie SERVERID insert nocache indirect
        option httpchk HEAD /index.html HTTP/1.0
        option httpclose
        option forwardfor
        server  jf1  192.168.33.11:80  cookie  jf1  check inter 1500 rise 3 fall 3 weight 1
    backend www.jf2.com
        balance roundrobin
        cookie SERVERID insert nocache indirect
        option httpchk HEAD /index.html HTTP/1.0
        option httpclose
        option forwardfor
        server  jf2  192.168.33.11:81  cookie  jf2  check inter 1500 rise 3 fall 3 weight 1

**4.启动Haproxy服务**

/usr/local/haproxy/sbin/haproxy   -f   /usr/local/haproxy/etc/haproxy.cfg

启动Haproxy报错如下：

[WARNING] 217/202150 (2857) : Proxy 'chinaapp.sinaapp.com': in multi-process mode, stats will be limited to process assigned to the current request.

修改源码配置src/cfgparse.c找到如下行，调整nbproc > 1数值即可：

if (nbproc > 1) {
      if (curproxy->uri_auth) {
    - Warning("Proxy '%s': in multi-process mode, stats will be limited to process assigned to the current request.\n",
    + Warning("Proxy '%s': in multi-process mode, stats will be limited to the process assigned to the current request.\n",

### Haproxy配置文件详解 ###

Hproxy配置文件内容详解如下：

######全局配置信息#######
    
    
    global
    maxconn 20480 #默认最大连接数
    log 127.0.0.1 local3 #[err warning info debug]
    chroot /usr/local/haproxy #chroot运行的路径
    uid 99 #所属运行的用户uid
    gid 99 #所属运行的用户组
    daemon #以后台形式运行haproxy
    nbproc 8 #进程数量(可以设置多个进程提高性能)
    pidfile /usr/local/haproxy/haproxy.pid #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
    ulimit-n 65535 #ulimit的数量限制
    
    
    ###########默认的全局设置##########
    
    
    ##这些参数可以被利用配置到frontend，backend，listen组件##
    
    
    defaults
    log global
    mode http #所处理的类别 (#7层 http;4层tcp )
    maxconn 20480 #最大连接数
    option httplog #日志类别http日志格式
    option httpclose #每次请求完毕后主动关闭http通道
    option dontlognull #不记录健康检查的日志信息
    option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip
    option redispatch #serverId对应的服务器挂掉后,强制定向到其他健康的服务器
    option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接
    stats refresh 30 #统计页面刷新间隔
    retries 3 #3次连接失败就认为服务不可用，也可以通过后面设置
    balance roundrobin #默认的负载均衡的方式,轮询方式
    
    
          #balance source #默认的负载均衡的方式,类似nginx的ip_hash
    
    
          #balance leastconn #默认的负载均衡的方式,最小连接
    contimeout 5000 #连接超时
    clitimeout 50000 #客户端超时
    srvtimeout 50000 #服务器超时
    timeout check 2000 #心跳检测超时
    
    
    ##############监控页面的设置###########
    
    
    listen admin_status #Frontend和Backend的组合体,监控组的名称，按需自定义名称
     bind 0.0.0.0:65532 #监听端口
     mode http #http的7层模式
     log 127.0.0.1 local3 err #错误日志记录
     stats refresh 5s #每隔5秒自动刷新监控页面
     stats uri /admin?stats #监控页面的url
     stats realm jfedu\ jfedu #监控页面的提示信息
     stats auth admin:admin #监控页面的用户和密码admin,可以设置多个用户名
     stats hide-version #隐藏统计页面上的HAproxy版本信息
     stats admin if TRUE #手工启用/禁用,后端服务器；
    
    
    ##########监控haproxy后端服务器的状态############
    
    
    listen site_status
    bind 0.0.0.0:1081 #监听端口
    mode http #http的7层模式
    log 127.0.0.1 local3 err #[err warning info debug]
    monitor-uri /site_status #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503
    acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true
    monitor fail if site_dead #当满足策略的时候返回503，网上文档说的是500，实际测试为503
    monitor-net 192.168.149.129/32 #来自192.168.149.129的日志信息不会被记录和转发；
    monitor-net 192.168.149.130/32 #来自192.168.149.130的日志信息不会被记录和转发；
    
    
    ########frontend配置############
    
    
    #####注意，frontend配置里面可以定义多个acl进行匹配操作########
    
    
    frontend http_80_in
    bind 0.0.0.0:80 #监听端口，即haproxy提供web服务的端口，和lvs的vip端口类似
    mode http #http的7层模式
    log global #应用全局的日志配置
    option httplog #启用http的log
    option httpclose #每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式
    option forwardfor #如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP
    ########acl策略配置#############
    acl jfedu_web hdr_reg(host) -i ^(www1.jfedu.net|www2.jfedu.net)$
    #如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写
    #如果请求的域名满足www.jfedu.net返回true -i是忽略大小写
    #acl jfedu hdr(host) -i jfedu.net
    #如果请求的域名满足jfedu.net返回true -i是忽略大小写
    #acl file_req url_sub -i killall=
    #在请求url中包含killall=，则此控制策略返回true,否则为false
    #acl dir_req url_dir -i allow
    #在请求url中存在allow作为部分地址路径，则此控制策略返回true,否则返回false
    #acl missing_cl hdr_cnt(Content-length) eq 0
    #当请求的header中Content-length等于0时返回true
    
    
    ########acl策略匹配相应#############
    #block if missing_cl
    #当请求中header中Content-length等于0阻止请求返回403
    #block if !file_req || dir_req
    #block表示阻止请求，返回403错误，当前表示如果不满足策略file_req，或者满足策略dir_req，则阻止请求
    use_backend server_web if jfedu_web
    #当满足jfedu_web的策略时使用server_web的backend
    
    
    ##########backend的设置##############
    
    
    backend server_web
    mode http #http的7层模式
    balance roundrobin #负载均衡的方式，roundrobin平均方式
    cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义
    option httpchk GET /index.html #心跳检测的文件
    server web1 192.168.149.129:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1
    #服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，
    #fall 3是3次失败认为服务器不可用，weight代表权重
    server web2 192.168.149.130:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2
    #服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，
    #fall 3是3次失败认为服务器不可用，weight代表权重。

### 安装Keepalived服务 ###

cd /usr/src ;
    wget http://www.keepalived.org/software/keepalived-1.2.1.tar.gz
    tar xzf keepalived-1.2.1.tar.gz
    cd keepalived-1.2.1 &&
    ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-71.el6.x86_64/
    make &&make install
    DIR=/usr/local/ ;cp $DIR/etc/rc.d/init.d/keepalived  /etc/rc.d/init.d/
    cp $DIR/etc/sysconfig/keepalived /etc/sysconfig/
    mkdir -p /etc/keepalived  && cp $DIR/sbin/keepalived /usr/sbin/

### 配置Haproxy+keepalived ###

Haproxy+keealived Master端keepalived.conf配置文件如下：

! Configuration File for keepalived
     global_defs {
     notification_email {
      xxx@139.com
     }
    notification_email_from wgkgood@139.com
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id LVS_DEVEL
     }
    
    
     vrrp_script chk_haproxy {
    script "/data/sh/check_haproxy.sh"
       interval 2
       weight 2
     }
     # VIP1
     vrrp_instance VI_1 {
     state  MASTER
     interface eth0
     lvs_sync_daemon_inteface eth0
     virtual_router_id 151
     priority 100
     advert_int 5
     nopreempt
     authentication {
      auth_typePASS
      auth_pass 2222
     }
     virtual_ipaddress {
      192.168.0.133
     }
     track_script {
     chk_haproxy
    }
     }

### 创建haproxy脚本 ###

设置可执行权限chmod +x check\_haproxy.sh，脚本内容如下：

#!/bin/bash
    #auto check haprox process
    killall -0 haproxy
    if
       [[ $? -ne 0 ]];then
       /etc/init.d/keepalived stop
    fi

Haproxy+keealived Backup端keepalived.conf配置文件如下：

! Configuration File for keepalived
    
    
     global_defs {
     notification_email {
      xxx@139.com
     }
    notification_email_from wgkgood@139.com
    smtp_server 127.0.0.1
    smtp_connect_timeout 30
    router_id LVS_DEVEL
    
    
     }
    
    
     vrrp_script chk_haproxy {
    script "/data/sh/check_haproxy.sh"
    
    
       interval 2
    
    
       weight 2
    
    
     }
    
    
     # VIP1
    
    
     vrrp_instance VI_1 {
     state  BACKUP
     interface eth0
     lvs_sync_daemon_inteface eth0
     virtual_router_id 151
     priority  90
     advert_int 5
     nopreempt
     authentication {
         auth_typePASS
         auth_pass 2222
     }
     virtual_ipaddress {
         192.168.0.133
     }
     track_script {
     chk_haproxy
    }
    
    
     }

### 测试Haproxy+Keepalived服务 ###

手动kill掉131的haproxy进程后，130的keepalived后台日志显示如下，并且访问133 VIP正常访问，提供服务，则证明Haproxy+keepalived高可用架构配置完毕，如图23-4（a）、23-4（b）、23-24（c）、23-24（d）所示：

![null][] ![null][null 1] ![null][null 2]

> 来源：
> 
> https://www.cnblogs.com/zhangan/p/10930570.html

![format_png 1][]

![format_png 2][]

好文和朋友一起看~

[1803089889.png]: /images/20210726/0d65d770c2f848ceb8ed9f793dc9f338.png
[undefined]: /images/20210726/92494bbb652b4cbea59c6437e33e9b04.png
[format_png]: /images/20210726/3079ec00e7224f09a4d45d312e519343.png
[null]: /images/20210726/4e3ea289c7b14591be406e315f97ce79.png
[null 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy8yck15dmRXbHVIdHJUNTl6RGI2TmZlREZzdFY3OHBaZmdremlhSE1pY1FzR0haT3AyeEFGNWF5MjZhUFh3NzBZV2w0NnVMVERzbVRLcTdpYWtVYk1HMVB6QS82NDA?x-oss-process=image/format,png
[null 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy8yck15dmRXbHVIdHJUNTl6RGI2TmZlREZzdFY3OHBaZlFnUDlteWQ1RXRQZ085cEFpY3FFV0hWdFpuTWd1SFJOelVHYWZGTm5lSnJLZjdldjlZRE1IR0EvNjQw?x-oss-process=image/format,png
[format_png 1]: /images/20210726/f1735b45f07c447ca3ce136884c90229.png
[format_png 2]: /images/20210726/b647f7517de8400c89d311bcae5ae8a1.png