RabbitMQ单点及集群搭建

阳光穿透心脏的1/2处 2022-04-14 07:12 232阅读 0赞

〇，环境准备

\* Erlang所需安装包：otp\_src\_20.1.tar.gz

\* RabbitMQ所需安装包：rabbitmq-server-generic-unix-3.6.13.tar.xz

一，单点搭建

1，Erlang环境搭建

\* tar包解压

[root@localhost myapp]# tar otp_src_20.1.tar.gz -C /usr/develop/erlang/

\* 提前安装安装需要的依赖插件

[root@localhost otp_src_20.1]# yum -y install make ncurses-devel gcc gcc-c++ unixODBC unixODBC-devel openssl openssl-devel

\* 源码编译

[root@localhost otp_src_20.1]# ./configure --prefix=/usr/develop/erlang --without-javac

\* 安装

[root@localhost otp_src_20.1]# make && make install

\* 配置环境变量

// 打开配置文件
    vim /etc/profile
    // 添加配置信息
    export PATH=/usr/develop/erlang/bin:$PATH
    // 引用配置文件内容
    source /etc/profile

\* 使用erl命令查看安装结果。图示：表示erlang安装成功

![20181125214040540.png][]

2，RabbitMQ环境搭建

\* 解压tar.xz包

// 解压tar.xz包
    [root@localhost myapp]# xz -d rabbitmq-server-generic-unix-3.6.13.tar.xz
    // 解压tar包, 注意不加z
    [root@localhost myapp]# tar -vxf rabbitmq-server-generic-unix-3.6.13.tar -C /usr/develop
    // 修改文件名
    [root@localhost develop]# mv rabbitmq-server-generic-unix rabbitmq

\* 配置环境变量

// 打开配置文件
    vim /etc/profile
    // 添加配置信息
    export PATH=/usr/develop/rabbmitmq/sbin:$PATH
    // 引用配置信息
    source /etc/profile

\* 配置浏览器访问插件，使用浏览器进行页面访问

[root@localhost rabbitmq]# ./sbin/rabbitmq-plugins enable rabbitmq_management

\* 启动服务

[root@localhost rabbitmq]# ./sbin/rabbitmq-server start

\* 服务启动后，直接进行页面访问，可以看到下面弹框；RabbitMQ默认用户为guest，不支持进行页面访问，所以需要进行用户添加

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70][]

\* 添加用户并授权

// 默认网页guest用户不允许访问, 添加admin用户
    [root@localhost rabbitmq]# ./sbin/rabbitmqctl add_user admin admin
    // 用户授权
    [root@localhost rabbitmq]# ./sbin/rabbitmqctl set_permissions -p "/" admin ".*" ".*" ".*"
    // 修改用户角色为管理员角色
    [root@localhost rabbitmq]# ./sbin/rabbitmqctl set_user_tags admin administrator
    // 查看用户
    [root@localhost sbin]# ./rabbitmqctl list_permissions

\* 使用admin账户进行登陆

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 1][]

\* RabbitMQ单点搭建成功

二，集群搭建

1，环境装备

\* 三台服务器（虚拟机）

\* 根据上面步骤进行单点RabbitMQ安装

2，配置/ect/hosts文件，添加下列信息

192.168.91.128 master
    192.168.91.129 slave
    192.168.91.130 slave

3，使用下面命令依次启动三台服务器，之前服务如果已经启动，记得关掉

[root@localhost sbin]# rabbitmq-server -detached

4，服务启动后，会创建一个虚拟的.erlang.cookie文件，文件位置可能在/var/bin/rabbitmq路径下，也可能直接在根路径下，直接cd进入。

![20181125215339678.png][]

5，同步master的.erlang.cookie文件到slave服务器, 保证.erlang.cookie信息同步；出现如下截图，则表示同步成功；（只在master节点执行）

// 同步129服务器
    scp ./.erlang.cookie root@192.168.91.129:$Home
    // 同步130服务器
    scp ./.erlang.cookie root@192.168.91.130:$Home

![20181125215612733.png][]

6，同步完成之后，重启服务，（在slave节点执行）

// 停止stop_app
    ./rabbitmqctl stop_app
    // 重新配置信息
    ./rabbitmqctl reset

\* 报如下截图错误，原因可能是对master节点也进行了 stop\_app操作，可以通过start\_app启动

// 重启服务
    ./rabbitmqctl start_app

![20181128214359793.png][]

7，添加slave节点到master节点

// 在slave节点执行, 添加服务到master节点 --ram表示为内存节点
    [root@slave_1 sbin]# ./rabbitmqctl join_cluster rabbit@master [--ram]
    
    [root@slave_2 sbin]# ./rabbitmqctl join_cluster rabbit@master --ram

![20181128214705997.png][]

\* 这一步如果一直报错，不能添加当前节点到对应节点，可以尝试重启服务器处理，因为host配置信息未加载到服务器不能识别

8，启动slave节点服务

// 重启服务
    ./rabbitmqctl start_app

9，查看集群状态

[root@master sbin]# ./rabbitmqctl cluster_status

![20181128214923159.png][]

10，页面查看集群节点

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 2][]

11，集群搭建完毕

三，镜像队列实现高可用

1，配置方式

// 不懂, 再研究, 先这样玩
    rabbitmqctl set_policy ha-allqueue "^" '{"ha-mode":"all"}'

2，界面

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 3][]

四，通过HAProxy实现高可用

1，HAProxy安装

\* 解压tar包

\* make命令

// TARGET : Linux内核, 使用uname -r命令查看, kernel 大于2.6.28的用：linux2628
    // ARCH : 系统位数
    make TARGET=linux2628 ARCH=x86_64 PREFIX=/usr/develop/haproxy

\* make install命令

// 注意区分大小写
    make install PREFIX=/usr/develop/haproxy

\* 完成后目录结构如下

![20181128223718536.png][]

\* 可以通过手动创建其他节点

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 4][]

\* 编辑配置文件

global
        log         192.168.91.128 local1
        pidfile     /usr/develop/haproxy/conf/haproxy.pid
        maxconn     4000
        user        haproxy
        group       haproxy
        daemon
    
    defaults
        log                     global
        option                  dontlognull
        option                  redispatch
        retries                 3
        timeout connect         10s
        timeout client          1m
        timeout server          1m
        maxconn                 3000
    
    listen http_front
            mode http
            bind 192.168.91.128:1080           #监听端口
            stats refresh 30s           #统计页面自动刷新时间
            stats uri /haproxy?stats    #统计页面url
            stats realm Haproxy Manager #统计页面密码框上提示文本
            stats auth admin:123456     #统计页面用户名和密码设置
    
    listen rabbitmq_admin
        bind 192.168.91.128:15673
        server master 192.168.91.128:15672
        server slave_1 192.168.91.129:15672
        server slave_2 192.168.91.130:15672
    
    listen rabbitmq_cluster 
    	bind 192.168.91.128:5673
        mode tcp
        balance roundrobin
        timeout client 3h
        timeout server 3h
        timeout connect 3h
        server   master 192.168.91.128:5672 check inter 5s rise 2 fall 3
        server   slave_1 192.168.91.129:5672 check inter 5s rise 2 fall 3
        server   slave_2 192.168.91.130:5672 check inter 5s rise 2 fall 3

\* 日志文件配置

-- 配置文件中global模块指定log地址为host local1，此配置基于reyslog日志系统进行配置

-- 配置日志信息

[root@localhost conf]# vim /etc/rsyslog.conf

![20181207192054996.png][]

-- 配置rsyslog信息

[root@localhost conf]# vim /etc/sysconfig/rsyslog

![20181207192018665.png][]

\* 启动haproxy服务

[root@master haproxy]# /usr/develop/haproxy/sbin/haproxy -f /usr/develop/haproxy/conf/haproxy.conf

\* 页面访问路径，参考配置stats uri信息，添加http的监听端口拼接完整访问路径

-- 比如 ： [http://192.168.91.128:1080/haproxy?stats][http_192.168.91.128_1080_haproxy_stats]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 5][]

\* 三台机器全部配置后，通过keepalived的VIP机制实现高可用

四，引入Keepalived引用

1，keepalived安装过程参考之前的Nginx

2，配置keepalived，根据主从节点分别配置MASTER或者BACKUP

global_defs {
       # 运行keepalived服务器的标识, 网络内唯一
       router_id LVS_DEVEL
       enable_script_security
    }
    
    # Nginx
    vrrp_script chk_nginx_service {
       script "/usr/develop/keepalived/nginx-alive-check.sh"
       interval 3
       weight  -10
       user root
    }
    
    # haproxy
    vrrp_script chk_haproxy_service {
       script "/usr/develop/keepalived/haproxy-alive-check.sh"
       interval 3
       weight  -10
       user root
    }
    
    # VRRP实例定义部分
    vrrp_instance VI_1 {
        # 设置LVS状态, 为MASTER或者BACKER,必须大写
        state MASTER
        # 网卡表示, 通过ifconfig查看
        interface eth0
        # 设置虚拟路由标示，这个标示是一个数字，同一个vrrp实例使用唯一标示
        virtual_router_id 51
        # 定义优先级，数字越大优先级越高，在一个vrrp——instance下，master的优先级必须大于backup
        priority 100
        # 设定master与backup负载均衡器之间同步检查的时间间隔，单位是秒
        advert_int 1
        # 设置验证类型和密码
        authentication {
            auth_type PASS
            # 验证密码，同一个vrrp_instance下MASTER和BACKUP密码必须相同
            auth_pass 1111
        }
        # 设置虚拟ip地址，可以设置多个，每行一个
        virtual_ipaddress {
            192.168.91.127
        }
        track_script {
            chk_nginx_service
        }
    }
    
    # 设置虚拟服务器，需要指定虚拟ip和服务端口
    # 服务器IP与虚拟IP一致
    virtual_server 192.168.91.127 80 {
        # 健康检查时间间隔
        delay_loop 6
        # 负载均衡调度算法
        lb_algo rr
        # 负载均衡转发规则
        lb_kind NAT
        # 设置会话保持时间
        persistence_timeout 50
        # 指定转化协议, TCP/UDP
        protocol TCP
    
        # 服务器节点, 配置IP和端口为真实IP和端口
        real_server 192.168.91.128 80 {
            # 设置当前服务权重
            weight 1
            TCP_CHECK {
                # 超时时间
                connect_timeout 3
                # 重试间隔
                retry 3
                # 检测端口
                connect_port 80
            }
        }
    }
    
    # VRRP实例定义部分
    vrrp_instance VI_2 {
        # 设置LVS状态, 为MASTER或者BACKER,必须大写
        state MASTER
        # 网卡表示, 通过ifconfig查看
        interface eth0
        # 设置虚拟路由标示，这个标示是一个数字，同一个vrrp实例使用唯一标示
        virtual_router_id 52
        # 定义优先级，数字越大优先级越高，在一个vrrp——instance下，master的优先级必须大于backup
        priority 100
        # 设定master与backup负载均衡器之间同步检查的时间间隔，单位是秒
        advert_int 1
        # 设置验证类型和密码
        authentication {
            auth_type PASS
            # 验证密码，同一个vrrp_instance下MASTER和BACKUP密码必须相同
            auth_pass 1111
        }
        # 设置虚拟ip地址，可以设置多个，每行一个
        virtual_ipaddress {
            192.168.91.126
        }
        track_script {
            chk_haproxy_service
        }
    }
    
    # 设置虚拟服务器，需要指定虚拟ip和服务端口
    # 服务器IP与虚拟IP一致
    virtual_server 192.168.91.126 80 {
        # 健康检查时间间隔
        delay_loop 6
        # 负载均衡调度算法
        lb_algo rr
        # 负载均衡转发规则
        lb_kind NAT
        # 设置会话保持时间
        persistence_timeout 50
        # 指定转化协议, TCP/UDP
        protocol TCP
    
        # 服务器节点, 配置IP和端口为真实IP和端口
        real_server 192.168.91.128 1080 {
            # 设置当前服务权重
            weight 1
            TCP_CHECK {
                # 超时时间
                connect_timeout 3
                # 重试间隔
                retry 3
                # 检测端口
                connect_port 80
            }
        }
    }

3，添加haproxy\_alive\_check.sh文件

#!bin/bash
    counter=$(ps -C haproxy --no-heading|wc -l)
    if [ "${counter}" = "0" ]; then
        /usr/develop/haproxy/sbin/haproxy -f /usr/develop/haproxy/conf/haproxy.conf
        sleep 2
        counter=$(ps -C haproxy --no-heading|wc -l)
        if [ "${counter}" = "0" ]; then
            service keepalived stop
        fi
    fi

4，进行keepalived启动后，会关联启动haproxy；同时haproxy宕机后，keepalived会启动一次，启动失败后同时宕机

![2018112823594898.png][]

5，同时可以查看到虚拟节点被某一节点拿到

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 6][]

6，通过虚拟IP访问RabbitMQ

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 7][]

[20181125214040540.png]: /images/20220414/3484053f659f4f1ebfd0b78efcba32a2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70]: /images/20220414/95ccc4043686412da0c30b49ea038c78.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 1]: /images/20220414/b6ceb8b7d60b43a08f707f9450b48fbe.png
[20181125215339678.png]: /images/20220414/8e73c074ee944ad1862af415ef2dfcdf.png
[20181125215612733.png]: /images/20220414/899e8e84464d4671bd3edd6269c9d5ab.png
[20181128214359793.png]: /images/20220414/12db1a5b176b45b3bdbe5a7a6fc3b8f2.png
[20181128214705997.png]: /images/20220414/5fd2b153493941e2993bc510a148eaa5.png
[20181128214923159.png]: /images/20220414/75b7edecb46c4add8790a3bbd909d404.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 2]: /images/20220414/98e1a003284b46d5bfd598c02084dcaa.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 3]: /images/20220414/ece342b9323e47278b540137b0345045.png
[20181128223718536.png]: /images/20220414/beab4b3d21b048ea94a485a4af8a8a7c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 4]: /images/20220414/302cf286d7524248a5c8abeadd4c4a7a.png
[20181207192054996.png]: /images/20220414/66ef0bd330e34fc89067821414652d64.png
[20181207192018665.png]: /images/20220414/b3c11f02f18849abb67f788907117e7d.png
[http_192.168.91.128_1080_haproxy_stats]: http://192.168.91.128:1080/haproxy?stats
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 5]: /images/20220414/cbac0e0fb10b4b3e99bbd1e070dcf65a.png
[2018112823594898.png]: /images/20220414/173155cd56ac47bf9ac3feff1910b071.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 6]: /images/20220414/9d0eb2bfd05d4f099bcaaa07f925f0c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTE5NzYzODg_size_16_color_FFFFFF_t_70 7]: /images/20220414/96eea5e837de4f4ebe4fc6e330cb163b.png