第八章：手把手教老婆实现：RocketMQ集群模式（2）-RocketMQ主从-搭建

ゝ一纸荒年。 2023-01-16 09:35 142阅读 0赞

技术活，该赏
    关注+一键三连（点赞，评论，收藏）再看，养成好习惯

[RocketMQ使用教程相关系列 目录][RocketMQ_]

--------------------

**目录**

第一节：服务器准备

第二节：安装配置（salve）

创建rocketmq存储目录

修改 runbroker.sh

修改 runserver.sh

第三节：配置

配置hosts

配置完成后, 重启网卡

rocketmq 环境变量配置

jdk安装

修改master服务器配置

关闭namesrv服务

关闭broker服务

主从配置

主机：192.168.88.131

从机：192.168.88.133

第四节：启动namesrv和主从的broker

先启动master主机和slave主机的namesrv

启动master主机的broker

再启动slave主机的broker

第五节：集群监控平台查看

启动

--------------------

# 第一节：服务器准备 #

安装两台虚拟机，一台master,一台slave。

<table> 
 <tbody> 
  <tr> 
   <td> <p>IP</p> </td> 
   <td> <p>hostname</p> </td> 
   <td> <p>mastername</p> </td> 
  </tr> 
  <tr> 
   <td> <p>192.168.88.133</p> </td> 
   <td> <p>rocketmq-nameserver2</p> </td> 
   <td> <p>rocketmq-master1-slave1</p> </td> 
  </tr> 
  <tr> 
   <td> <p>192.168.88.131</p> </td> 
   <td> <p>rocketmq-nameserver1</p> </td> 
   <td> <p>rocketmq-master1</p> </td> 
  </tr> 
 </tbody> 
</table>

[安装虚拟机传送门-->][--]

# 第二节：安装配置（salve） #

之前已经在一台服务器安装了rocketMQ,所以salve服务器（192.168.88.133）只需要安装从节点就行了。

注：如果不知道rocketMQ怎么安装的，[传送门-->第一章：RocketMQ安装][--_RocketMQ]

先在salve服务器创建存在安装文件的目录

mkdir server

![0][]

把安装文件拷贝到salve服务器上，并解压安装

scp rocketmq-all-4.5.1-bin-release.zip 192.168.88.133:/usr/local/server/

![0][0 1]

![0][0 2]

unzip rocketmq-all-4.5.1-bin-release.zip

![0][0 3]

mkdir mq
    mv rocketmq-all-4.5.1-bin-release mq/rocketmq

![0][0 4]

## 创建rocketmq存储目录 ##

现有的目录结构是这样的

![0][0 5]

创建存储目录

mkdir logs
    mkdir store
    cd store
    mkdir commitlog
    mkdir consumequeue
    mkdir index

![0][0 6]

修改日志路径

进入conf 目录，替换所有xml中的$\{user.home\},保证日志路径正确

![0][0 7]

![0][0 8]

语法：

sed -i 批量替换作用

sed -i 's#原字符串#新字符串#g' 替换的文件
    sed -i 's#${user.home}#/usr/local/server/mq/rocketmq#g' *.xml

![0][0 9]

说明替换成功了

![0][0 10]

## 修改 runbroker.sh ##

调整内存大小(这里只是演示用途，实际的内存大小要以生产环境为准)

cd ..
    cd bin/
    vim runbroker.sh

![0][0 11] ![0][0 12]

调整为1g

![0][0 13]

## 修改 runserver.sh ##

调整内存大小(这里只是演示用途，实际的内存大小要以生产环境为准)

vim runserver.sh

![0][0 14]

![0][0 15]

# 第三节：配置 #

## 配置hosts ##

在host文件中配置地址与IP的映射关系

修改2台机器的/etc/hosts文件，加入如下映射关系

vim /etc/hosts
    
    192.168.88.131 rocketmq-nameserver1
    192.168.88.131 rocketmq-master1
    192.168.88.133 rocketmq-nameserver2
    192.168.88.133 rocketmq-master1-slave1

## 配置完成后, 重启网卡 ##

systemctl restart network

## rocketmq 环境变量配置 ##

vim /etc/profile

在profile文件的末尾加入如下命令

#set rocketmq
    ROCKETMQ_HOME=/usr/local/server/mq/rocketmq/
    PATH=$PATH:$ROCKETMQ_HOME/bin
    export ROCKETMQ_HOME PATH

输入:wq! 保存并退出， 并使得配置立刻生效：

source /etc/profile

## jdk安装 ##

[centos安装open-jdk8-->传送门][centos_open-jdk8--]

## 修改master服务器配置 ##

主机;192.168.88.131

### 关闭namesrv服务 ###

#进入bin
     sh mqshutdown namesrv

![0][0 16]

### 关闭broker服务 ###

sh mqshutdown broker

![0][0 17]

通过jps验证下

![0][0 18]

## 主从配置 ##

### 主机：192.168.88.131 ###

cd /usr/local/server/mq/rocketmq/conf
    cd 2m-2s-async/
    vim broker-a.properties

#所属集群名字
    brokerClusterName=xuzhu_cluster
    #broker 名字，注意此处不同的配置文件填写的不一样
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer 地址，分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口
    listenPort=10911
    #删除文件时间点，默认凌晨 4 点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog 每个文件的大小默认 1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/server/mq/rocketmq/store
    #commitLog 存储路径
    storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/server/mq/rocketmq/store/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/server/mq/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制 Master
    #- SYNC_MASTER 同步双写 Master
    #- SLAVE
    brokerRole=ASYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

有调整的地方：

#集群名称，主从要一样
    brokerClusterName=xuzhu_cluster
    #broker名称，主从要一样，根据BrokerRole来确定谁是主谁是从
    brokerName=broker-a
    #nameServer 地址
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #brokerID 0是主，>0是从
    brokerId=0
    #主从关系，异步复制
    brokerRole=ASYNC_MASTER
    #刷盘模式，异步刷盘
    flushDiskType=ASYNC_FLUSH

### 从机：192.168.88.133 ###

修改broker-a-s.properties

vim broker-a-s.properties

修改，保存

#所属集群名字
    brokerClusterName=xuzhu_cluster
    #broker 名字，注意此处不同的配置文件填写的不一样
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=1
    #nameServer 地址，分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #在发送消息时，自动创建服务器不存在的 topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建 Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口
    listenPort=10911
    #删除文件时间点，默认凌晨 4 点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog 每个文件的大小默认 1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue 每个文件默认存 30W 条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/server/mq/rocketmq/store
    #commitLog 存储路径
    storePathCommitLog=/usr/local/server/mq/rocketmq/store/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/server/mq/rocketmq/store/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/server/mq/rocketmq/store/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/server/mq/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/server/mq/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制 Master
    #- SYNC_MASTER 同步双写 Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

有调整的地方：

#集群名称，主从要一样
    brokerClusterName=xuzhu_cluster
    #broker名称，主从要一样，根据BrokerRole来确定谁是主谁是从
    brokerName=broker-a
    #nameServer 地址
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #brokerID 0是主，>0是从
    brokerId=1
    #角色是从节点
    brokerRole=SLAVE
    #刷盘模式，异步刷盘
    flushDiskType=ASYNC_FLUSH

# 第四节：启动namesrv和主从的broker #

master主机和slave主机进入bin目录

## 先启动master主机和slave主机的namesrv ##

nohup sh mqnamesrv > /dev/null 2>&1 &

![0][0 19]

## 启动master主机的broker ##

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-async/broker-a.properties > /dev/null 2>&1 &

![0][0 20]

## 再启动slave主机的broker ##

nohup sh mqbroker -c /usr/local/server/mq/rocketmq/conf/2m-2s-async/broker-a-s.properties > /dev/null 2>&1 &

![0][0 21]

# 第五节：集群监控平台查看 #

## 启动 ##

事先要查询下docker 有没有存在容器rocketmq-console-ng，如果有，要先删除

对docker不熟悉的同学，[传送门-->docker 常用操作容器命令][--_docker]

如果事先没有下载rocketmq-console镜像，[传送门-->RocketMQ集群监控平台 rocketmq-console 搭建][--_RocketMQ_ rocketmq-console]

docker run -e "JAVA_OPTS=-Drocketmq.namesrv.addr=192.168.88.131:9876;192.168.88.133:9876 -Dcom.rocketmq.sendMessageWithVIPChannel=false" -p 8080:8080 -t --name rocketmq-console-ng  styletang/rocketmq-console-ng

![0][0 22]

[RocketMQ_]: https://blog.csdn.net/shi_hong_fei_hei/article/details/115470425
[--]: https://blog.csdn.net/shi_hong_fei_hei/article/details/114192040
[--_RocketMQ]: https://blog.csdn.net/shi_hong_fei_hei/article/details/115469368
[0]: /images/20221022/b0e6c6520d284882a854e556e86cc5eb.png
[0 1]: /images/20221022/e13e0505b65b43528e026eb2f5cd6c53.png
[0 2]: /images/20221022/9a8dee7a5ce44f7e883538ea740c70c9.png
[0 3]: /images/20221022/a166b26067a2401b9a6fc2ca7c0bb3bb.png
[0 4]: /images/20221022/b4206edd6d6a43518929de9a10a3e7a7.png
[0 5]: /images/20221022/9f60a604088b43d6973bbbab1719f940.png
[0 6]: /images/20221022/06ab48ceb107432cb347da83d95c205d.png
[0 7]: /images/20221022/0a2e37aa72b84e76926dbca8b91de029.png
[0 8]: /images/20221022/9689a6122f8948fc8fefe6ed072898ea.png
[0 9]: /images/20221022/7ca2f6da746b442db2824b2ffc5d13d0.png
[0 10]: /images/20221022/a109ee62a9ae489999cae9340d947eb0.png
[0 11]: https://img-blog.csdnimg.cn/img_convert/61ed05d81fadf352e066c53b9b4747f9.png
[0 12]: /images/20221022/c60b9d02a22647d8b604aab3cf89c639.png
[0 13]: /images/20221022/8d703cbbb7cb4ed6acf8e1f9d4c737d3.png
[0 14]: /images/20221022/261de24d04b64279a2118cc8b980306f.png
[0 15]: /images/20221022/afba03d7c6c4427e9480392e32d7feee.png
[centos_open-jdk8--]: https://blog.csdn.net/shi_hong_fei_hei/article/details/115832190
[0 16]: /images/20221022/42886213a0e84f329b5a060b301d3610.png
[0 17]: /images/20221022/f7527a25802c4b89bc2aceddf62d6e78.png
[0 18]: /images/20221022/9b9628c55daf418a8941e189633dfda6.png
[0 19]: /images/20221022/3066900b3ca8413584a9ef5ccf40fde4.png
[0 20]: /images/20221022/6c35c12408694c4ba7d88b9259210f4b.png
[0 21]: /images/20221022/22d8f1fd1c4c4231b544ff3f7393a6b0.png
[--_docker]: https://blog.csdn.net/shi_hong_fei_hei/article/details/114232257
[--_RocketMQ_ rocketmq-console]: https://blog.csdn.net/shi_hong_fei_hei/article/details/115470593
[0 22]: /images/20221022/5c3555683890486dbb5e75a80ecad65b.png