第八章：手把手教老婆实现：RocketMQ集群模式（3）-RocketMQ主从-多Master多Slave模式

待我称王封你为后i 2023-01-18 09:20 12阅读 0赞

技术活，该赏
    关注+一键三连（点赞，评论，收藏）再看，养成好习惯

[RocketMQ使用教程相关系列 目录][RocketMQ_]

--------------------

# **目录** #

第一节：服务器准备

第二节：安装RocketMQ

创建rocketmq存储目录

修改 runbroker.sh

修改 runserver.sh

第三节：配置

配置hosts

rocketmq 环境变量配置

jdk安装

主从配置

主机：192.168.88.131

同步配置到多台服务器

第四节：启动

先启动master主机和slave主机的namesrv

启动broker

主1，启动broker

从1，启动broker

主2，启动broker

从2，启动broker

第五节：验证主从是否启动

--------------------

# 第一节：服务器准备 #

这里搭建的是双主双从集群，采用同步复制，异步刷盘的方式搭建集群。

安装四台虚拟机，如下。

<table> 
 <tbody> 
 <tr> 
 <td> IP </td> 
 <td> hostname </td> 
 <td> mastername </td> 
 </tr> 
 <tr> 
 <td> 192.168.88.135 </td> 
 <td> rocketmq-nameserver4 </td> 
 <td> rocketmq-master2-salave1 </td> 
 </tr> 
 <tr> 
 <td> 192.168.88.134 </td> 
 <td> rocketmq-nameserver3 </td> 
 <td> rocketmq-master2 </td> 
 </tr> 
 <tr> 
 <td> 192.168.88.133 </td> 
 <td> rocketmq-nameserver2 </td> 
 <td> rocketmq-master1-slave1 </td> 
 </tr> 
 <tr> 
 <td> 192.168.88.131 </td> 
 <td> rocketmq-nameserver1 </td> 
 <td> rocketmq-master1 </td> 
 </tr> 
 </tbody> 
</table>

[安装虚拟机传送门-->][--]

# 第二节：安装RocketMQ #

在每台机器上安装RocketMQ,这里就不再重复了

[第一章：RocketMQ安装-->传送门][RocketMQ_--]

重点的再说明下

## 创建rocketmq存储目录 ##

现有的目录结构是这样的

![0][]

创建存储目录

mkdir logs
    mkdir store
    cd store
    mkdir commitlog
    mkdir consumequeue
    mkdir index

![0][0 1]

修改日志路径

进入conf 目录，替换所有xml中的$\{user.home\},保证日志路径正确

![0][0 2]

![0][0 3]

语法：

sed -i 批量替换作用

sed -i 's#原字符串#新字符串#g' 替换的文件
    sed -i 's#${user.home}#/usr/local/server/mq/rocketmq#g' *.xml

![0][0 4]

说明替换成功了

![0][0 5]

## 修改 runbroker.sh ##

调整内存大小(这里只是演示用途，实际的内存大小要以生产环境为准)

cd ..
    cd bin/
    vim runbroker.sh

![0][0 6]

![0][0 7]

调整为1g

![0][0 8]

##  修改 runserver.sh ##

调整内存大小(这里只是演示用途，实际的内存大小要以生产环境为准)

vim runserver.sh

![0][0 9]

![0][0 10]

# 第三节：配置 #

## 配置hosts ##

在host文件中配置地址与IP的映射关系

修改每台机器的/etc/hosts文件，加入如下映射关系

vim /etc/hosts

192.168.88.131 rocketmq-nameserver1
    192.168.88.131 rocketmq-master1
    192.168.88.133 rocketmq-nameserver2
    192.168.88.133 rocketmq-master1-slave1
    192.168.88.134 rocketmq-nameserver3
    192.168.88.134 rocketmq-master2
    192.168.88.135 rocketmq-nameserver4
    192.168.88.135 rocketmq-master2-slave1

配置完成后, 重启网卡

systemctl restart network

## rocketmq 环境变量配置 ##

vim /etc/profile

在profile文件的末尾加入如下命令

#set rocketmq
    ROCKETMQ_HOME=/usr/local/server/mq/rocketmq/
    PATH=$PATH:$ROCKETMQ_HOME/bin
    export ROCKETMQ_HOME PATH

输入:wq! 保存并退出， 并使得配置立刻生效：

source /etc/profile

## jdk安装 ##

[centos安装open-jdk8-->传送门][centos_open-jdk8--]

## 主从配置 ##

### 主机：192.168.88.131 ###

cd /usr/local/server/mq/rocketmq/conf
    cd 2m-2s-sync/
    vim broker-a.properties

![0][0 11]

#所属集群名字
    brokerClusterName=xuzhu_cluster
    #broker 名字，注意此处不同的配置文件填写的不一样
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer 地址，分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
    #在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口
    brokerIP1=192.168.88.131
    brokerIP2=192.168.88.131
    listenPort=10911
    #删除文件时间点，默认凌晨 4 点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog 每个文件的大小默认 1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间 checkTransactionMessageEnable
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/server/mq/rocketmq/store
    #commitLog 存储路径
    storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/server/mq/rocketmq/store/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/server/mq/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制 Master
    #- SYNC_MASTER 同步双写 Master
    #- SLAVE
    brokerRole=SYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128
    #默认该值为false，表示该Broker不承载系统自定义用于存储消息轨迹的topic
    traceTopicEnable=false

重点配置：

#broker 名字，注意此处不同的配置文件填写的不一样
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer 地址，分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
    #Broker 的角色
    #- ASYNC_MASTER 异步复制 Master
    #- SYNC_MASTER 同步双写 Master
    #- SLAVE
    brokerRole=SYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH

移除broker-a-s.properties

rm -rf broker-a-s.properties

![0][0 12]

复制broker-a.properties到broker-a-s.properties再修改

cp broker-a.properties ./broker-a-s.properties
    vim broker-a-s.properties

![0][0 13]

重点配置修改：

#broker 名字，注意此处不同的配置文件填写的不一样
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=1
    #nameServer 地址，分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
    #Broker 的角色
    #- ASYNC_MASTER 异步复制 Master
    #- SYNC_MASTER 同步双写 Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH

移除broker-b.properties，复制broker-a.properties到broker-b.properties再修改

rm -rf broker-b.properties
    cp broker-a.properties ./broker-b.properties
    vim broker-b.properties

![0][0 14]

重点配置修改：

#broker 名字，注意此处不同的配置文件填写的不一样
    brokerName=broker-b
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer 地址，分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
    #Broker 的角色
    #- ASYNC_MASTER 异步复制 Master
    #- SYNC_MASTER 同步双写 Master
    #- SLAVE
    brokerRole=SYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH

移除broker-b-s.properties，复制broker-a-s.properties到broker-b-s.properties再修改

rm -rf broker-b-s.properties
    cp broker-a-s.properties ./broker-b-s.properties
    vim broker-b-s.properties

![0][0 15]

重点配置修改：

#broker 名字，注意此处不同的配置文件填写的不一样
    brokerName=broker-b
    #0 表示 Master，>0 表示 Slave
    brokerId=1
    #nameServer 地址，分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876;rocketmq-nameserver3:9876;rocketmq-nameserver4:9876
    #Broker 的角色
    #- ASYNC_MASTER 异步复制 Master
    #- SYNC_MASTER 同步双写 Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH

### 同步配置到多台服务器 ###

获取同步路径

![0][0 16]

主机192.168.88.131进入/usr/local/server/mq/rocketmq/conf/2m-2s-sync目录下

scp *.properties 192.168.88.133:/usr/local/server/mq/rocketmq/conf/2m-2s-sync

![0][0 17]

其他几台服务器也是类似的做法复制过去

![0][0 18]

# 第四节：启动 #

## 先启动master主机和slave主机的namesrv ##

nohup sh mqnamesrv > /dev/null 2>&1 &

![0][0 19]

## 启动broker ##

不同的服务器，启动的broker文件是不一样的

### 主1，启动broker ###

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-a.properties > /dev/null 2>&1 &

![0][0 20]

### 从1，启动broker ###

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-a-s.properties > /dev/null 2>&1 &

![0][0 21]

### 主2，启动broker  ###

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-b.properties > /dev/null 2>&1 &

![0][0 22]

### 从2，启动broker  ###

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-sync/broker-b-s.properties > /dev/null 2>&1 &

![0][0 23]

#  第五节：验证主从是否启动 #

启动

事先要查询下docker 有没有存在容器rocketmq-console-ng，如果有，要先删除

对docker不熟悉的同学，[传送门-->docker 常用操作容器命令][--_docker]

docker run -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.88.131:9876;192.168.88.133:9876;192.168.88.134:9876;192.168.88.135:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -p 8080:8080 -t --name rocketmq-console-ng  styletang/rocketmq-console-ng

![0][0 24]

如图所示，两主双从的集群已经搭建成功。

[RocketMQ_]: https://blog.csdn.net/shi_hong_fei_hei/article/details/115470425
[--]: https://blog.csdn.net/shi_hong_fei_hei/article/details/114192040
[RocketMQ_--]: https://blog.csdn.net/shi_hong_fei_hei/article/details/115469368
[0]: /images/20221021/888f15d7685c49f0834ee0ab3406399f.png
[0 1]: /images/20221021/3cf1056adc0642978170cd884be2b21f.png
[0 2]: /images/20221021/49d7e8df14d04f9daf3943eb32a731aa.png
[0 3]: /images/20221021/1c9bcb2c779b45cbbd05c49f55b7b158.png
[0 4]: /images/20221021/f3a5f58fb6b946cba89dfa381c62861b.png
[0 5]: /images/20221021/5cb5d24aa2f14206ac01d4463f40cb83.png
[0 6]: /images/20221021/4c8650b3783d441b82d9a9572002c215.png
[0 7]: /images/20221021/692cfcbcca7a444c9b86dbcf37fe5fbc.png
[0 8]: /images/20221021/10bc989b94c04b6dbb7798ccd02a8600.png
[0 9]: /images/20221021/d07c07345b0648799bb6641d8309f312.png
[0 10]: /images/20221021/59feef7a90e94323a1666905e00f0f10.png
[centos_open-jdk8--]: https://blog.csdn.net/shi_hong_fei_hei/article/details/115832190
[0 11]: /images/20221021/4b1443be7f934d35871e569a6638e4f5.png
[0 12]: /images/20221021/00ce08291d60420ca794be8a4cb47b6d.png
[0 13]: /images/20221021/e21f337d38f24b5e9abd7635a0c16d71.png
[0 14]: /images/20221021/54edf36cb4134ad792cff006b64f4082.png
[0 15]: /images/20221021/3a7f7ee137ec4eb097b4bf31b975d544.png
[0 16]: /images/20221021/85ed7ca866c5425b9153cdf97dc5441e.png
[0 17]: /images/20221021/7d9832f218744c96b328fb526abbeb5e.png
[0 18]: /images/20221021/898cca6cd3bb45dab158e2bda192f93b.png
[0 19]: /images/20221021/65c580d384564982bb8eee591ce58719.png
[0 20]: /images/20221021/5b158f78c9d54f1c963497b28b5aa42a.png
[0 21]: /images/20221021/e87f3ec51de24a6098c945e88abe1b42.png
[0 22]: /images/20221021/1f2bb0a2c6bb4dcb9d46510bbd0975cd.png
[0 23]: /images/20221021/130413de3b514c76b4dbade4254bbf21.png
[--_docker]: https://blog.csdn.net/shi_hong_fei_hei/article/details/114232257
[0 24]: /images/20221021/d7eb8c8219804534beef3c196ec484b1.png