Haproxy_配合nginx搭建web集群

Love The Way You Lie 2021-09-07 12:54 295阅读 0赞

### Haproxy ###

*  一.常见的Web集群调度器
 *   *  二.Haproxy应用分析
     *   *  三.Haproxy调度算法原理
         *  四.Haproxy高性能负载均衡主要优点
         *   *  1.Haproxy在负载均衡速度和并发处理上，优于Nginx
             *  2.Haproxy支持虚拟主机，可以工作在4、7层
             *  3.能够补充Nginx的一些缺点，比如session的保持、Cookie的引导等工作
             *  4.支持url检测后端的服务器状态
             *  5.Haproxy可以对Mysql进行负载均衡，对后端的DB节点进行检测和负载均衡
             *  6.支持很多负载均衡算法：轮询、加权轮询、原地址保持、请求url、根据cookie
 *  五. Haproxy搭建Web集群
 *   *   *  环境配置：
         *  1.编译安装Nginx服务器
         *  2.部署Haproxy服务器
         *  1)关闭防火墙，将haproxy安装软件包传到opt目录下
         *  2)编译安装Haproxy
         *  3)Haproxy服务器配置
         *  4）添加Haproxy系统服务
         *  3.测试web集群
         *  六.日志定义
         *  客户端访问过，再回到服务器查看日志：
         *  七.Haproxy参数优化
         *   *  总结：

# 一.常见的Web集群调度器 #

目前常见的Web集群调度器分为软件和硬件
     软件通常使用开源的LVS、Haproxy、Nginx
     硬件一般使用的比较多的是F5，也有很多人使用梭子鱼、绿盟等国内产品

## 二.Haproxy应用分析 ##

Lvs在企业应用中抗负载能力很强，但存在不足
       lvs不支持正则处理，不能动静分离
    
    
     Haproxy是一款可提供高可用性、负载均衡、
     基于TCP和HTTP应用代理的软件
     适用于负载大的Web站点
     运行在硬件上可支持数以万计的并发连接的连接请求

### 三.Haproxy调度算法原理 ###

Haproxy支持多种调度算法：最常用的有三种

*  RR
 *  RR算法是最简单最常用的一种算法，即轮询调度
 *  LC
 *  LC：最小连接数算法，根据后端的节点连接数大小动态分配前端请求
 *  SH
 *  SH：基于来源访问调度算法，用于一些session 会话记录在服务器端的场景，可以基于来源的IP、Cookie(缓存）等做集群调度

### 四.Haproxy高性能负载均衡主要优点 ###

#### 1.Haproxy在负载均衡速度和并发处理上，优于Nginx ####

#### 2.Haproxy支持虚拟主机，可以工作在4、7层 ####

#### 3.能够补充Nginx的一些缺点，比如session的保持、Cookie的引导等工作 ####

#### 4.支持url检测后端的服务器状态 ####

#### 5.Haproxy可以对Mysql进行负载均衡，对后端的DB节点进行检测和负载均衡 ####

#### 6.支持很多负载均衡算法：轮询、加权轮询、原地址保持、请求url、根据cookie ####

# 五. Haproxy搭建Web集群 #

### 环境配置： ###

<table> 
 <thead> 
  <tr> 
   <th>主机</th> 
   <th>操作系统</th> 
   <th>IP地址</th> 
   <th>所需软件</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Haproxy</td> 
   <td>centos7</td> 
   <td>192.168.133.10</td> 
   <td>haproxy-1.5.19.tar.gz</td> 
  </tr> 
  <tr> 
   <td>Nginx-server1</td> 
   <td>centos7</td> 
   <td>192.168.133.20</td> 
   <td>nginx-1.12.0.tar.gz</td> 
  </tr> 
  <tr> 
   <td>Nginx-server2</td> 
   <td>centos7</td> 
   <td>192.168.133.30</td> 
   <td>nginx-1.12.0.tar.gz</td> 
  </tr> 
  <tr> 
   <td>客户端</td> 
   <td>win10</td> 
   <td>192.168.133.40</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

### 1.编译安装Nginx服务器 ###

Nginx-server1:192.168.133.20  
Nginx-server2:192.168.133.30

[编译安装Nginx步骤][Nginx]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center]

*  Nginx-server1:192.168.133.20

echo "this is nginx1 web" > /usr/local/nginx/html/test.html

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 1]

*  Nginx-server2:192.168.133.30

echo "this is nginx2 web" > /usr/local/nginx/html/test.html

![在这里插入图片描述][20210427150942717.png_pic_center]

### 2.部署Haproxy服务器 ###

haproxy-server:192.168.133.10

### 1)关闭防火墙，将haproxy安装软件包传到opt目录下 ###

systemctl stop firewalld
    systemctl disable firewalld
    setenforce 0
    
    cd /opt
    haproxy-1.5.19.tar.gz

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 2]

### 2)编译安装Haproxy ###

yum install -y pcre-devel bzip2-devel gcc gcc-c++ make
    
    tar zxvf haproxy-1.5.19.tar.gz
    cd haproxy-1.5.19/
    make TARGET=linux2628 ARCH=x86_64
    make install
    
    参数说明
    #使用uname -r查看内核，如：2.6.18-371.el5，此时该参数用TARGET=linux26；kernel大于2.6.28的用TARGET=linux2628
    TARGET=linux26	#内核版本
    ARCH=x86_64 	#系统位数，64位系统

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 4]

### 3)Haproxy服务器配置 ###

mkdir /etc/haproxy
    cp examples/haproxy.cfg /etc/haproxy/
    
    cd /etc/haproxy/
    vim haproxy.cfg
    global
      #4~5行–修改，配置日志记录，local0为日志设备，默认存放到系统日志3
      log /dev/log   local0 info		
      log /dev/log   local0 notice
      #log loghost    local0 info
      maxconn 4096   #最大连接数，需考虑ulimit-n限制
      
      #8行–注释，chroot运行路径，为该服务自设置的根目录，一般需将此行注释掉
      #chroot /usr/share/haproxy
      uid 99    #用户UID
      gid 99    #用户GID
      daemon    #守护进程模式
    
    defaults        
      log     global      #定义日志为global配置中的日志定义
      mode    http	      #模式为http
      option  httplog     #采用http日志格式记录日志
      option  dontlognull #不记录健康检查日志信息
      retries 3           #检查节点服务器失败次数，连续达到三次失败，则认为节点不可用
      redispatch				    #当服务器负载很高时，自动结束当前队列处理比较久的连接
      maxconn 2000					#最大连接数
      contimeout      5000			#连接超时时间
      clitimeout      50000			#客户端超时时间
      srvtimeout      50000			#服务器超时时间
    
    #删除下面所有listen项–，添加
    listen  webcluster 0.0.0.0:80		
        option httpchk GET /test.html	#检查服务器的test.html文件
        balance roundrobin				#负载均衡调度算法使用轮询算法roundrobin
        server inst1 192.168.163.11:80 check inter 2000 fall 3		#定义在线节点
        server inst2 192.168.163.12:80 check inter 2000 fall 3
    
    #--参数说明----------------
    balance roundrobin   #负载均衡调度算法
    #轮询算法: roundrobin;最小连接数算法: leastconn;来源访问调度算法: source，类似于nginx的ip_hash
    
    check inter 2000 #表示haproxy服务器和节点之间的一个心跳频率
    fall 3   #表示连续三次检测不到心跳频率则认为该节点失效
    若节点配置后带有""backup"表示该节点只是个备份节点，只有主节点失效该节点才会上。不携带"backup"，表示为主节点，和其它主节点共同提供服务。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 5]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 6]

### 4）添加Haproxy系统服务 ###

cp /opt/haproxy-1.5.19/examples/haproxy.init /etc/init.d/haproxy
    cd /etc/init.d/
    ll
    chmod +x haproxy
    chkconfig --add /etc/init.d/haproxy
    ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy
    service haproxy start

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 7]![在这里插入图片描述][20210427161454443.png_pic_center]

### 3.测试web集群 ###

在客户端使用浏览器打开 http://192.168.133.10/test.html ，不断刷新浏览器测试负载均衡效果

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 8]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 9]

### 六.日志定义 ###

默认haproxy的日志是输出到系统的syslog中，查看起来不是非常方便，为了更好的管理haproxy的日志，
     我们在生产环境中一般单独定义出来。需要将haproxy的info及notice日志分别记录到不同的日志文件中。

vim /etc/haproxy/haproxy.cfg
    global
    	log /dev/log local0 info
    	log /dev/log local0 notice
    
    service haproxy restart

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 10]  
![在这里插入图片描述][20210427163836270.png_pic_center]

*  需要修改rsyslog配置，为了便于管理。将haproxy相关的配置独立定义到haproxy.conf，并放到/etc/rsyslog.d/下，rsyslog启动时会自动加载此目录下的所有配置文件。

vim /etc/rsyslog.d/haproxy.conf
    
    if ($programname == 'haproxy' and $syslogseverity-text == 'info')
    then -/var/log/haproxy/haproxy-info.log
    &~
    if ($programname == 'haproxy' and $syslogseverity-text == 'notice')
    then -/var/log/haproxy/haproxy-notice.log
    &~
    说明：
    这部分配置是将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log下，将notice日志记录到/var/log/haproxy/haproxy-notice.log下。“&~”表示当日志写入到日志文件后，rsyslog停止处理这个信息。
    
    systemctl restart rsyslog.service
    
    tail -f /var/log/haproxy/haproxy-info.log		#查看haproxy的访问请求日志信息

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 11]  
![在这里插入图片描述][20210427165109540.png_pic_center]

### 客户端访问过，再回到服务器查看日志： ###

tail -f /var/log/haproxy/haproxy-info.log

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 12]

### 七.Haproxy参数优化 ###

随着企业网站负载增加,haproxy参数优化相当重要

maxconn:最大连接数，根据应用实际情况进行调整，推荐使用10 240
    daemon:守护进程模式，Haproxy可以使用非守护进程模式启动，建议使用守护进程模式启动
    nbproc:负载均衡的并发进程数，建议与当前服务器CPU核数相等或为其2倍
        retries:重试次数，主要用于对集群节点的检查，如果节点多，且并发量大，设置为2次或3次
    option http-server-close:主动关闭http请求选项，建议在生产环境中使用此选项
    timeout http-keep-alive:长连接超时时间，设置长连接超时时间，可以设置为10s
    timeout http-request: http请求超时时间，建议将此时间设置为5～10s，增加http连接释放速度
    timeout client:客户端超时时间，如果访问量过大，节点响应慢，可以将此时间设置短一些，建议设置为1min左右就可以了

#### 总结： ####

*  Haproxy：web集群调度器
 *  Haproxy:高可用性、负载均衡、Tcp(4层）、HTTP(7层）代理的软件
 *  适用于负载大的web站点
 *  可支持数以万计连接请求  
    三种调度算法：
    
     *  RR(轮询）
     *  lc(最小连接）节点最小的进行分配请求
     *  SH(来源访问调度算法）用户会访问第一次指派的节点 不重启调度器 会保持现状(会话保持）

优点：①：负载均衡、并发处理 优于nginx  
②：支持虚拟主机 ，工作在4、7层  
③：会话保持、缓存引导  
④：监控(url)后端服务器  
⑤：可对mysql进行负载均衡、主要是节点检测  
⑥：支持负载均衡算法：RR(轮询）、加权轮询、原地址保持、请求url、根据cookie

[Nginx]: https://blog.csdn.net/Wsxyi/article/details/115330724
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center]: /images/20210726/54ee251dd1e94560bb9c43a0c51acc87.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20210726/3064783a3f0d487e9ae11c7b470aaabc.png
[20210427150942717.png_pic_center]: /images/20210726/8422dd319a874fbb825d0068cd85ccc8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20210726/16c35985bb1a4359bf05c964d5088629.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20210726/a6d2f38f7db7467eafb25b136f4e92f3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20210726/c711c9c5027644158201e09759301103.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20210726/a69a75a703304500beedaf07cac0c57d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20210726/f27b83988a71428298e57e568a3fc7fb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 7]: https://img-blog.csdnimg.cn/20210427161117975.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp,size_16,color_FFFFFF,t_70#pic_center
[20210427161454443.png_pic_center]: /images/20210726/47857a022d2d4be199bdc964bd2d8e0f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 8]: /images/20210726/ab8dce04a27848e8aa01816a08217509.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 9]: /images/20210726/e3e5e0e9238344d6a683d384d331d50e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 10]: /images/20210726/f76087be210745e59e129a1d0a068733.png
[20210427163836270.png_pic_center]: /images/20210726/69db3b2f71b34827acb1d00067a24544.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 11]: /images/20210726/94390bfe056a449c87ed025712449f5a.png
[20210427165109540.png_pic_center]: /images/20210726/fd6151a259d54d49abb530b444909b0a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dzeHlp_size_16_color_FFFFFF_t_70_pic_center 12]: /images/20210726/6272d43a69df43daa5083e6c308337e7.png