Haproxy - Web负载均衡及高可用解决方案

柔光的暖阳◎ 2023-01-17 06:30 213阅读 0赞

### Haproxy - Web负载均衡解决方案 ###

*  一、常用的负载调度算法
 *   *  1. 轮询\[RR\]
     *  2. 最小连接数\[LC\]
     *  3. 来源访问\[SH\]
 *  二、Web负载均衡解决方案
 *   *  1. 拓扑图
     *  2. 部署Nginx服务器
     *  3. 部署Haproxy服务器
     *  4. 配置Haproxy服务器
     *  5. 添加并开启Haproxy服务
     *  6. 测试Web集群
 *  三、Haproxy 的日志
 *   *  1. 修改 Haproxy 配置文件
     *  2. 修改 rsyslog 配置
 *  四、Haproxy 的参数优化

[Haproxy][]是一款支持虚拟主机提供高可用性、负载均衡以及基于TCP和HTTP应用的代理

--------------------

# 一、常用的负载调度算法 #

## 1. 轮询\[RR\] ##

后端节点有序的轮流分配到任务

## 2. 最小连接数\[LC\] ##

当第一个节点被分配的任务量大于第二节点时任务将被分配到第二个节点上，以此类推

## 3. 来源访问\[SH\] ##

会记录下客户访问的节点，之后当客户再次访问时，就访问那个节点\[可以基于IP、Cookie等\]

# 二、Web负载均衡解决方案 #

## 1. 拓扑图 ##

一台作为Haproxy以及两台Nginx模拟Web集群  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70][]

<table> 
 <thead> 
  <tr> 
   <th>主机</th> 
   <th>操作系统</th> 
   <th>IP 地址</th> 
   <th>主要软件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Nginx 服务器 1</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.10</td> 
   <td>nginx</td> 
  </tr> 
  <tr> 
   <td>Nginx 服务器 2</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.20</td> 
   <td>nginx</td> 
  </tr> 
  <tr> 
   <td>Haproxy 服务器</td> 
   <td>CentOS 7</td> 
   <td>192.168.0.50</td> 
   <td>haproxy</td> 
  </tr> 
 </tbody> 
</table>

## 2. 部署Nginx服务器 ##

yum -y install pcre pcre-devel zlib zlib-devel gcc gcc-c++ make
    
    useradd -M -s /sbin/nologin nginx
    
    wget -P /opt http://nginx.org/download/nginx-1.20.0.tar.gz
    
    cd /opt
    tar -zxvf nginx-1.20.0.tar.gz 
    
    cd /opt/nginx-1.20.0
    
    ./configure \
    --prefix=/usr/local/nginx \
    --user=nginx \
    --group=nginx 
    
    make -j && make install
    
    ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/nginx
    ln -s /usr/local/nginx/conf/nginx.conf /etc/nginx.conf
    
    echo '
    [Unit]
    Description=nginx
    After=network.target
    [Service]
    Type=forking
    PIDFile=/usr/local/nginx/logs/nginx.pid
    ExecStart=/usr/local/nginx/sbin/nginx
    ExecReload=/bin/kill -s HUP $MAINPID
    ExecStop=/bin/kill -s QUIT $MAINPID
    PrivateTmp=true
    [Install]
    WantedBy=multi-user.target' > /lib/systemd/system/nginx.service
    
    chmod 754 /lib/systemd/system/nginx.service
    
    echo "<h1>HelloCat</h1>" > /usr/local/nginx/html/index.html 
    #echo "<h1>HelloDog</h1>" > /usr/local/nginx/html/index.html 
    
    systemctl start nginx.service
    systemctl enable nginx.service

## 3. 部署Haproxy服务器 ##

yum install -y pcre-devel bzip2-devel gcc gcc-c++ make
    wget -P /opt https://www.haproxy.org/download/1.5/src/haproxy-1.5.19.tar.gz
    
    cd /opt 
    tar -zxvf haproxy-1.5.19.tar.gz
    cd haproxy-1.5.19
    
    uname -r
    #查看内核，kernel 大于 2.6.2 则使用以下参数
    #否则为 TARGET=linux26
    #比如我当前版本时3.10.0则填入3100
    make TARGET=linux3100 ARCH=x86_64
    #内核版本，系统位数，64位系统
    
    make install

## 4. 配置Haproxy服务器 ##

mkdir /etc/haproxy
    cp examples/haproxy.cfg /etc/haproxy/
    
    cd /etc/haproxy/
    vim haproxy.cfg
    
    global
    #为设定的全局配置部分
    #属于进程级别的配置，通常和使用的操作系统配置相关
    
    #4~5行，修改配置全局日志记录，local0为日志设备，默认存放到系统日志
    		log /dev/log   local0 info		
            log /dev/log   local0 notice
            #log loghost    local0 info
            maxconn 4096                #每个 haproxy 进程可以接受的最大连接数，需考虑 ulimit-n 的限制
    #8行，注释，chroot运行路径，为该服务自设置的根目录，一般需将此行注释掉
            #chroot /usr/share/haproxy
            uid 99                      #用户UID
            gid 99                      #用户GID
            daemon                      #守护进程模式
    
    defaults
    #为缺省默认配置部分
    #这些设置参数属于公共配置，一般会被自动集成到 listen、frontend 和 backend 中
    #如果没有在这几部分特别声明，将按照配置参数设置
    		log     global					#缺省日志配置，定义日志为global配置中的日志记录定义
            mode    http					#设置 Haproxy 默认运行模式，为http
            option  httplog					#采用http日志格式记录日志
            option  dontlognull				#不记录健康检查日志信息
            retries 3						#检查节点服务器失败次数，连续达到三次失败，则认为节点不可用
            redispatch						#当服务器负载很高时，自动结束当前队列处理比较久的连接
            maxconn 2000					#最大连接数
            contimeout      5000			#连接超时时间
            clitimeout      50000			#客户端超时时间
            srvtimeout      50000			#服务器超时时间
    #增加一条监听
    listen  webcluster 0.0.0.0:80
            option httpchk GET /index.html
            #负载均衡调度算法
            #轮询算法：roundrobin；最小连接数算法：leastconn；来源访问调度算法：source
            balance roundrobin
            #check inter 2000：表示haproxy服务器和节点之间的一个心跳频率
            server inst1 192.168.0.10:80 check inter 2000 fall 3
            server inst2 192.168.0.20:80 check inter 2000 fall 3
    #删除多余的项

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 1][]  
![20210427164924323.png][]

## 5. 添加并开启Haproxy服务 ##

cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
    cd /etc/init.d
    chmod +x haproxy
    #赋权
    
    chkconfig --add /etc/init.d/haproxy
    #增加该服务，让chkconfig指令得以管理它，并同时在系统启动的叙述文件内增加相关数据
    
    ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
    #优化路径，把 haproxy 放入系统命令路径以识别
    
    service haproxy start
    或
    /etc/init.d/haproxy start
    #开启服务

![20210427164805277.png][]

## 6. 测试Web集群 ##

**负载均衡**  
![20210427165314153.png][]  
![20210427165333951.png][]  
**高可用**  
Nginx1突然宕机，再次访问站点  
![20210427165701297.png][]  
在Haproxy上查看日志显示Nginx1挂掉了  
![20210427165809613.png][]  
客户端再次访问  
![20210427165731782.png][]  
Nginx2继续维持服务  
![20210427165949797.png][]

# 三、Haproxy 的日志 #

默认 haproxy 的日志是输出到系统的 syslog 中，查看起来不是非常方便，为了更好的管理 haproxy 的日志，我们在生产环境中一般单独定义出来

## 1. 修改 Haproxy 配置文件 ##

需要将 haproxy 的 info 及 notice 日志分别记录到不同的日志文件中

vim /etc/haproxy/haproxy.cfg
    
    global
    
    log /dev/log local0 info
    log /dev/log local0 notice
    
    
    service haproxy restart

## 2. 修改 rsyslog 配置 ##

将 haproxy 相关的配置独立定义到 haproxy.conf，并放到 `/etc/rsyslog.d/` 下，rsyslog 启动时会自动加载此目录下的所有配置文件

*  `&~`表示当日志写入到日志文件后，rsyslog 停止处理这个信息

vim /etc/rsyslog.d/haproxy.conf
    
    if ($programname == 'haproxy' and $syslogseverity-text == 'info')
    then -/var/log/haproxy/haproxy-info.log
    &̲~
    if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
    then -/var/log/haproxy/haproxy-notice.log
    &~
    
    systemctl restart rsyslog.service
    #重启完后，再用客户端重新访问页面，然后就可以看到由日志文件生成了
    
    cd /var/log/
    
    cd /var/log/haproxy/
    ls
    cat haproxy-info.log
    #查看新生成的日志文件的内容

# 四、Haproxy 的参数优化 #

<table> 
 <thead> 
  <tr> 
   <th>参数</th> 
   <th>参数说明</th> 
   <th>优化建议</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>maxconn</td> 
   <td>最大连接数</td> 
   <td>此参数根据应用的实际使用情况进行调整，推荐使用 10 240</td> 
  </tr> 
  <tr> 
   <td>daemon</td> 
   <td>守护进程模式</td> 
   <td>Haproxy 可以使用非守护进程模式启动，生产环境建议使用守护进程模式启动</td> 
  </tr> 
  <tr> 
   <td>nbproc</td> 
   <td>负载均衡的并发进程数</td> 
   <td>建议与当前服务器 CPU 核数相等或为其 2 倍</td> 
  </tr> 
  <tr> 
   <td>retries</td> 
   <td>重试次数</td> 
   <td>此参数主要用于对群集节点的检查，如果节点多且并发量大，设置为 2 次或 3 次；而在服务器节点不多的情况下，可以设置为 5 次或 6 次</td> 
  </tr> 
  <tr> 
   <td>option http-server-close</td> 
   <td>主动关闭 http 请求选项</td> 
   <td>建议在生产环境中使用此选项，避免由于 timeout 时间设置过长导致 http 连接堆积</td> 
  </tr> 
  <tr> 
   <td>timeout http-keep-alive</td> 
   <td>长连接超时时间</td> 
   <td>此选项设置长时间连接超时时间，具体可参考应用自身特点设置，可以设置为 10s</td> 
  </tr> 
  <tr> 
   <td>timeout http-request</td> 
   <td>http 请求超时时间</td> 
   <td>建议将此事件设置为 5~10s，增加 http 连接释放速度</td> 
  </tr> 
  <tr> 
   <td>timeout client</td> 
   <td>客户端超时时间</td> 
   <td>如果访问量过大，节点响应慢，可以将此事件设置短一些，建议设置为 1min 左右就可以了</td> 
  </tr> 
 </tbody> 
</table>

[Haproxy]: https://www.haproxy.com/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70]: /images/20221021/25c5b1e27a554aa3a4612c85837da540.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQyNDI3OTcx_size_16_color_FFFFFF_t_70 1]: /images/20221021/53d54eadab6b45abad28ffb980bbcbc9.png
[20210427164924323.png]: /images/20221021/990c5fa6391541789e41b514daf18190.png
[20210427164805277.png]: /images/20221021/38cf34e022e948b8834aa04b10c36277.png
[20210427165314153.png]: /images/20221021/17bb60f6eee84b9584fbb58ca1854ba2.png
[20210427165333951.png]: /images/20221021/a994a9d782b54c3fb3bbde65e1f0d7f2.png
[20210427165701297.png]: /images/20221021/8d873db118c64ac5b05e2ef14dc4ddf1.png
[20210427165809613.png]: /images/20221021/be5c63e1340e460a9c3e4bce5d608d08.png
[20210427165731782.png]: /images/20221021/4b5b4431e20a4739ae53d344863939bc.png
[20210427165949797.png]: /images/20221021/338569116a4648aa850ed024c3e1457a.png