RabbitMQ--集群框架（镜像模式，笔记）

客官°小女子只卖身不卖艺 2023-07-12 09:15 43阅读 0赞

## 模式分类 ##

*  主备模式：
    
     *  一般在并发和数据量不高的情况下，这种模型非常好用且简单。主备模式也称之为Warren模式
     *  就是一个主/备方案（主节点如果挂了，从节点提供服务而已）
     *  HaProxy配置
        
         *      listen rabbitmq_cluster
                bind 0.0.0.0:5672 #配置TCP模式
                mode tcp # 简单的轮询
                balance roundrobin #主节点
                # inter 每隔5秒对mq集群做健康检查，2次正确证明服务可用，3次失败证明服务不可用，并配置主备机制。
                server bhz76 192.168.11.76:5672 check inter 5000 rise 2 fall 3
                server bhz77 192.168.11.76:5672 backup inter 5000 rise 2 fall 3 备用节点
            
             
 *  远程模式：远距离通信和复制，简称Shovel模式，所谓Shovel就是我们可以把消息进行不同数据中心的复制工作，我们可以跨地域的让两个mq集群互联
 *  镜像模式：就是Mirror镜像模式，一般是2-3个节点实现数据同步。

## 集群环境搭建 ##

**1、服务器信息说明 （这里用的是镜像模式）**

*   配置好每台服务器hostname (vim /etc/hostname)
 *  76、77、78部署好rabbitmq
 *  关闭服务器的rabbitmq  (rabbitmqctl stop)

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDE4NTE4_size_16_color_FFFFFF_t_70][]

**2、同步配置文件**

*  选择76、77、78任意一个节点为Master（这里选择76为Master），也就是说我们需要把76的Cookie文件同步到77、78节点上去。
 *  进入/var/lib/rabbitmq目录下，把/var/lib/rabbitmq/.erlang.cookie文件的权限修改为777，原来是400；然后把.erlang.cookie文件copy到各个节点下；最后把所有cookie文件权限还原为400即可。
 *  例 ：scp /var/lib/rabbitmq/.erlang.cookie 192.168.11.77:/var/lib/rabbitmq/

**3、三个节点使用集群命令启动**

*  cd /usr/local
 *  rabbitmq-server -detached
 *  lsf -i:5672   (查看开启状态)

**4、让77和78加入 76中**

*  bhz77：rabbitmqctl stop\_app
 *  bhz77：rabbitmqctl join\_cluster rabbit@bhz76
 *  bhz77：rabbitmqctl start\_app
 *  78 类似操作

**5、修改集群名称**(默认为第一个node名称): rabbitmqctl set\_cluster\_name rabbitmq\_cluster1

**6、查看集群状态**（任意节点）: rabbitmqctl cluster\_status

访问任意一个管控台节点：[http://192.168.11.71:15672][http_192.168.11.71_15672]

![20200308101042210.png][]

**7、配置镜像队列**（任意节点上执行）

rabbitmqctl set\_policy ha-all "^" '\{"ha-mode":"all"\}'

将所有队列设置为镜像队列，即队列会被复制到各个节点，各个节点状态一致，RabbitMQ高可用集群就已经搭建好了,我们可以重启服务，查看其队列是否在从节点同步。

（这里就可以实现3个同时更新的MQ）

## Haproxy ##

**1、简介**

HAProxy是一款提供高可用性、负载均衡以及基于TCP和HTTP应用的代理软件，HAProxy是完全免费的、借助HAProxy可以快速并且可靠的提供基于TCP和HTTP应用的代理解决方案。

HAProxy适用于那些负载较大的web站点，这些站点通常又需要会话保持或七层处理。

HAProxy可以支持数以万计的并发连接,并且HAProxy的运行模式使得它可以很简单安全的整合进架构中，同时可以保护web服务器不被暴露到网络上。

**2、特点**

*  单进程、事件驱动模型显著降低了上下文切换的开销及内存占用。
 *  在任何可用的情况下，单缓冲机制能以不复制任何数据的方式完成读写操作，这会节约大量的cpu时种周期及内存带宽。
 *  借助于Linux 2.6(>= 2.6.27.19)上的splice()系统调用，HAProxy可以实现零复制转发，在Linux 3.5及以上的OS中还可以实现零复制启动。
 *  内存分配器在固定大小的内存池中可以实现即时内存分配。能显著减少创建一个会话的时常。
 *  树型存储：侧重与使用作者多年开发的弹性二叉树，实现了以O(log(N))的底开销来保持计时器命令、保持运行队列命令及管理轮询及最少连接队列

**3、安装（79和80服务器）**

# 下载依赖包
    yum install gcc vim wget
    # 下载haproxy
    wget http://www.haproxy.org/download/1.6/src/haproxy-1.6.5.tar.gz
    # 解压
    tar -zxvf haproxy-1.6.5.tar.gz -C /usr/local
    # 进入目录、进行编译、安装
    cd /usr/local/haproxy-1.6.5
    make TARGET=linux31 PREFIX=/usr/local/haproxy
    make install PREFIX=/usr/local/haproxy
    mkdir /etc/haproxy
    # 赋权
    groupadd -r -g 149 haproxy
    useradd -g haproxy -r -s /sbin/nologin -u 149 haproxy
    # 创建haproxy配置文件
    touch /etc/haproxy/haproxy.cfg

**4、修改配置** vim /etc/haproxy/haproxy.cfg

#logging options
    global
    	log 127.0.0.1 local0 info
    	maxconn 5120
    	chroot /usr/local/haproxy
    	uid 99
    	gid 99
    	daemon
    	quiet
    	nbproc 20
    	pidfile /var/run/haproxy.pid
    
    defaults
    	log global
    	#使用4层代理模式，”mode http”为7层代理模式
    	mode tcp
    	#if you set mode to tcp,then you nust change tcplog into httplog
    	option tcplog
    	option dontlognull
    	retries 3
    	option redispatch
    	maxconn 2000
    	contimeout 5s
         ##客户端空闲超时时间为 60秒 则HA 发起重连机制
         clitimeout 60s
         ##服务器端链接超时时间为 15秒 则HA 发起重连机制
         srvtimeout 15s	
    #front-end IP for consumers and producters
    
    listen rabbitmq_cluster
    	bind 0.0.0.0:5672
    	#配置TCP模式
    	mode tcp
    	#balance url_param userid
    	#balance url_param session_id check_post 64
    	#balance hdr(User-Agent)
    	#balance hdr(host)
    	#balance hdr(Host) use_domain_only
    	#balance rdp-cookie
    	#balance leastconn
    	#balance source //ip
    	#简单的轮询
    	balance roundrobin
    	#rabbitmq集群节点配置 #inter 每隔五秒对mq集群做健康检查， 2次正确证明服务器可用，2次失败证明服务器不可用，并且配置主备机制
            server bhz76 192.168.11.76:5672 check inter 5000 rise 2 fall 2
            server bhz77 192.168.11.77:5672 check inter 5000 rise 2 fall 2
            server bhz78 192.168.11.78:5672 check inter 5000 rise 2 fall 2
    #配置haproxy web监控，查看统计信息
    listen stats
    	bind 192.168.11.79:8100
    	mode http
    	option httplog
    	stats enable
    	#设置haproxy监控地址为http://localhost:8100/rabbitmq-stats
    	stats uri /rabbitmq-stats
    	stats refresh 5s

**5、启动、关闭**

/usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg
    # 查看haproxy进程状态
    ps -ef | grep haproxy
    
    # 关闭haproxy
    killall haproxy
    ps -ef | grep haproxy

**6、访问监控**

*  [http://192.168.1.79:8100/rabbitmq-stats][http_192.168.1.79_8100_rabbitmq-stats]
 *  [http://192.168.1.80:8100/rabbitmq-stats][http_192.168.1.79_8100_rabbitmq-stats]
 *  ![20200308113842190.png][]

（这里 代理设置好了，可以通过[http://192.168.1.79][http_192.168.1.79_8100_rabbitmq-stats]: 5672 或 [http://192.168.1.][http_192.168.1.79_8100_rabbitmq-stats]80: 5672 访问集群rabbotmq）

## KeepAlived ##

**1、简介**

Keepalived，它是一个高性能的服务器高可用或热备解决方案，Keepalived主要来防止服务器单点故障的发生问题，可以通过其与Nginx、Haproxy等反向代理的负载均衡服务器配合实现web服务端的高可用。Keepalived以VRRP协议为实现基础，用VRRP协议来实现高可用性（HA）.VRRP（Virtual Router Redundancy Protocol）协议是用于实现路由器冗余的协议，VRRP协议将两台或多台路由器设备虚拟成一个设备，对外提供虚拟路由器IP（一个或多个）。

（意思就是，会出现一个虚拟ip [http://192.168.1.7][http_192.168.1.79_8100_rabbitmq-stats]0,开始默认是挂在79这个机器上，如果这个机器挂了，这个ip会立刻转移到80这台机器上。在79上时使用的是[http://192.168.1.79][http_192.168.1.79_8100_rabbitmq-stats]: 5672，在80上使用的是[http://192.168.1.][http_192.168.1.79_8100_rabbitmq-stats]80: 5672）

**2、执行流程**

Keepalived高可用服务之间的故障切换转移，是通过VRRP来实现的。在Keepalived服务正常工作时，主Master节点会不断地向北街店发送心跳消息，用以告诉Backup节点自己还活着，当主Master节点发送故障时，没有收到心跳的备用节点，调用自身的接管程序，接管主Master节点的ip资源服务。而当主Master节点恢复时，备用节点又会释放主节点故障时自身接管的ip资源及服务，恢复原来的备用角色。

**3、安装**

PS:下载地址：[http://www.keepalived.org/download.html][http_www.keepalived.org_download.html]

# 安装所需软件包
    yum install -y openssl openssl-devel
    # 下载
    wget http://www.keepalived.org/software/keepalived-1.2.18.tar.gz
    # 解压、编译、安装
    tar -zxvf keepalived-1.2.18.tar.gz -C /usr/local/
    cd keepalived-1.2.18/ && ./configure --prefix=/usr/local/keepalived
    make && make install
    # 将keepalived安装成Linux系统服务，因为没有使用keepalived的默认安装路径（默认路径：/usr/local）,安装完成之后，需要做一些修改工作
    # 首先创建文件夹，将keepalived配置文件进行复制：
    mkdir /etc/keepalived
    cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/
    # 然后复制keepalived脚本文件：
    cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/
    cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
    ln -s /usr/local/sbin/keepalived /usr/sbin/
    ln -s /usr/local/keepalived/sbin/keepalived /sbin/
    # 可以设置开机启动：chkconfig keepalived on，到此我们安装完毕!
    chkconfig keepalived on

**4、修改配置文件 **vim /etc/keepalived/keepalived.conf

79节点

! Configuration File for keepalived
    
    global_defs {
       router_id bhz79  ##标识节点的字符串，通常为hostname
    
    }
    
    vrrp_script chk_haproxy {
        script "/etc/keepalived/haproxy_check.sh"  ##执行脚本位置
        interval 2  ##检测时间间隔
        weight -20  ##如果条件成立则权重减20
    }
    
    vrrp_instance VI_1 {
        state MASTER  ## 主节点为MASTER，备份节点为BACKUP
        interface eth0 ## 绑定虚拟IP的网络接口（网卡），与本机IP地址所在的网络接口相同（我这里是eth0）
        virtual_router_id 79  ## 虚拟路由ID号（主备节点一定要相同）
        mcast_src_ip 192.168.11.79 ## 本机ip地址
        priority 100  ##优先级配置（0-254的值）
        nopreempt
        advert_int 1  ## 组播信息发送间隔，俩个节点必须配置一致，默认1s
    
        authentication {  ## 认证匹配
            auth_type PASS
            auth_pass bhz
        }
    
        track_script {
            chk_haproxy
        }
    
        virtual_ipaddress {
            192.168.11.70  ## 虚拟ip，可以指定多个
        }
    }

80 节点

! Configuration File for keepalived
    
    global_defs {
       router_id bhz80  ##标识节点的字符串，通常为hostname
    
    }
    
    vrrp_script chk_haproxy {
        script "/etc/keepalived/haproxy_check.sh"  ##执行脚本位置
        interval 2  ##检测时间间隔
        weight -20  ##如果条件成立则权重减20
    }
    
    vrrp_instance VI_1 {
        state BACKUP  ## 主节点为MASTER，备份节点为BACKUP
        interface eno16777736 ## 绑定虚拟IP的网络接口（网卡），与本机IP地址所在的网络接口相同（我这里是eno16777736）
        virtual_router_id 79  ## 虚拟路由ID号（主备节点一定要相同）
        mcast_src_ip 192.168.11.80  ## 本机ip地址
        priority 90  ##优先级配置（0-254的值）
        nopreempt
        advert_int 1  ## 组播信息发送间隔，俩个节点必须配置一致，默认1s
        authentication {  ## 认证匹配
            auth_type PASS
            auth_pass bhz
        }
    
        track_script {
            chk_haproxy
        }
    
        virtual_ipaddress {
            192.168.11.70  ## 虚拟ip，可以指定多个
        }
    }

添加执行脚本 haproxy\_check.sh（79、80两个节点文件内容一致即可）  位置为/etc/keepalived/haproxy\_check.sh

#!/bin/bash
    COUNT=`ps -C haproxy --no-header |wc -l`
    if [ $COUNT -eq 0 ];then
        /usr/local/haproxy/sbin/haproxy -f /etc/haproxy/haproxy.cfg
        sleep 2
        if [ `ps -C haproxy --no-header |wc -l` -eq 0 ];then
            killall keepalived
        fi
    fi
    
    # haproxy_check.sh脚本授权,赋予可执行权限.
    chmod +x /etc/keepalived/haproxy_check.sh

**5、启动keepalived**

**6、测试**

在 79 服务器下  ip a

发现192.168.11.70在这个服务器下。

执行 service keepalived stop

发现192.168.11.70在跑到80服务器上面去了。然后重启79的keepalived ，发现又回来了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDE4NTE4_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200308095417258.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM1NDE4NTE4,size_16,color_FFFFFF,t_70
[http_192.168.11.71_15672]: http://192.168.11.71:15672
[20200308101042210.png]: https://img-blog.csdnimg.cn/20200308101042210.png
[http_192.168.1.79_8100_rabbitmq-stats]: http://192.168.1.27:8100/rabbitmq-stats
[20200308113842190.png]: https://img-blog.csdnimg.cn/20200308113842190.png
[http_www.keepalived.org_download.html]: http://www.keepalived.org/download.html