RocketMQ高可用集群搭建详解

本是古典何须时尚 2022-09-10 07:11 365阅读 0赞

> 本文同步发表于我的微信公众号，扫一扫文章底部的二维码或在微信搜索 chaodev 即可关注。

### 文章目录 ###

*   *   *  1、RocketMQ简介
         *  2、单机安装部署
         *   *  2.1 系统环境
             *  2.2 下载解压
             *  2.3 修改初始内存
             *  2.4 启动服务
             *  2.5 发送接收消息测试
             *  2.6 关闭服务
         *  3、集群搭建
         *   *  3.1 配置集群
             *  3.2 防火墙配置
             *  3.3 启动集群
             *   *  3.3.1 启动 NameServer 集群
                 *  3.3.2 启动 Master
                 *  3.3.3 启动 Slave
         *  4、图形化管理控制台
         *  5、爬坑之路
         *   *  5.1 启动服务无反应
             *  5.2 启动broker服务提示如下错误

### 1、RocketMQ简介 ###

MQ（消息队列）在软件架构中是经常被使用的组件，特别是在分布式系统中，我们常见的MQ产品有 RabbitMQ、RocketMQ、Kafka等等，本文将对 RocketMQ 搭建高可用集群进行详解。

RocketMQ是使用Java语言开发的一款MQ产品。经过数年阿里双11的考验，性能与稳定性非常高。其没有遵循任何常见的MQ协议，而是使用自研协议。

官网：[http://rocketmq.apache.org/][http_rocketmq.apache.org]  
RocketMQ由四部分构成：Producer、Consumer、Broker和NameServer。

### 2、单机安装部署 ###

#### 2.1 系统环境 ####

系统要求64位，jdk版本1.8及以上。

#### 2.2 下载解压 ####

下载地址：[http://archive.apache.org/dist/rocketmq/][http_archive.apache.org_dist_rocketmq]  
我这里选择4.9.0版本  
![在这里插入图片描述][289684e00a8142e08ecdef952ea746bd.png]

解压

unzip rocketmq-all-4.9.0-bin-release.zip

进入解压目录  
![在这里插入图片描述][0797d2b65dcb451c83ff56ce51c20198.png]

#### 2.3 修改初始内存 ####

此步骤根据实际情况，因为初始内存默认设置比较大，某些内存比较小的机器不修改可能启动不起来。

**修改 runserver.sh**

vim bin/runserver.sh

![在这里插入图片描述][5837782d9f014eb6a4edb9e67cbc88fe.png]

**修改 runbroker.sh**

vim bin/runbroker.sh

![在这里插入图片描述][705d35cc78d444b3974144d291bbdf1c.png]

注：可以按照原始比例调整，比如 8g、8g、4g可对应改成2g、2g、1g

#### 2.4 启动服务 ####

启动顺序：NameServer->Broker

**启动 NameServer**：

nohup sh bin/mqnamesrv &

![在这里插入图片描述][caf69d81118248bd8ca89a2dc0a99659.png]

查看日志，默认目录在 ~/logs/rocketmqlogs/ 下：  
![在这里插入图片描述][4608673d45934f59b4bd4e86606c5700.png]

tail -f ~/logs/rocketmqlogs/namesrv.log

![在这里插入图片描述][80001ae07844412793e6c1560cd8dc6b.png]

**启动 Broker**：

nohup sh bin/mqbroker -n localhost:9876 &

![在这里插入图片描述][6b44737fd9f342e09474d4f172d8db43.png]

查看日志

tail -f ~/logs/rocketmqlogs/broker.log

![在这里插入图片描述][a4101688fc6640ef8ccf41d4f3f819f8.png]

#### 2.5 发送接收消息测试 ####

官方文档上为我们提供了一个测试例子，在发送和接收之前需要先告诉客户端 NameServer 的地址，最简单可以使用环境变量NAMESRV\_ADDR

export NAMESRV_ADDR=localhost:9876

发送消息

sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

![在这里插入图片描述][9397ff28c9e749a1ba128c872248cb68.png]

接收消息

sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

![在这里插入图片描述][c36ee18a2ebe46e6a25bcc33fb34ca05.png]

#### 2.6 关闭服务 ####

关闭 Broker

sh bin/mqshutdown broker

![在这里插入图片描述][5aa7bce8374a42f2aa3da6e04b44bfda.png]

关闭 NameServer

sh bin/mqshutdown namesrv

![在这里插入图片描述][834eb95fe2b74ebda0d008b6ad9e938b.png]

### 3、集群搭建 ###

本次搭建模式为**双主双从异步复制**，部署节点如下

<table> 
 <thead> 
  <tr> 
   <th>IP</th> 
   <th>主机名</th> 
   <th>功能</th> 
   <th>Broker角色</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>192.168.1.210</td> 
   <td>rocketmqOS1</td> 
   <td>NameServer+Broker</td> 
   <td>Master1</td> 
  </tr> 
  <tr> 
   <td>192.168.1.211</td> 
   <td>rocketmqOS2</td> 
   <td>NameServer+Broker</td> 
   <td>Slave1</td> 
  </tr> 
  <tr> 
   <td>192.168.1.212</td> 
   <td>rocketmqOS3</td> 
   <td>NameServer+Broker</td> 
   <td>Master2</td> 
  </tr> 
  <tr> 
   <td>192.168.1.213</td> 
   <td>rocketmqOS4</td> 
   <td>NameServer+Broker</td> 
   <td>Slave2</td> 
  </tr> 
 </tbody> 
</table>

rocketmqOS2 为 rocketmqOS1 的从节点，rocketmqOS4 为 rocketmqOS3 的从节点。

#### 3.1 配置集群 ####

在 conf 目录下，rocketMQ 默认为我们提供了几个模板  
![在这里插入图片描述][f9141cf0b0d8453bb54f0a996a431012.png]

从上至下分别是 两主两从异步复制（2m-2s-async）、两主两从同步复制（2m-2s-sync）、两主无从（2m-noslave）。

本次搭建使用两主两从异步复制，选用第一个模板即可，进入 conf/2m-2s-async 目录，如下  
![在这里插入图片描述][8d3b3aa481524791af52939fee1ef645.png]

四个配置文件分别是 主1、主1对应的从、主2、主2对应的从，对应到我们集群就是 Master1、Slave1、Master2、Slave2。

各节点配置文件内容修改如下：

*  rocketmqOS1 Master1节点：broker-a.properties

brokerClusterName=DefaultCluster
    brokerName=broker-a
    brokerId=0
    deleteWhen=04
    fileReservedTime=48
    brokerRole=ASYNC_MASTER
    flushDiskType=ASYNC_FLUSH
    namesrvAddr=192.168.1.210:9876;192.168.1.211:9876;192.168.1.212:9876;192.168.1.213:9876

*  rocketmqOS2 Slave1节点：broker-a-s.properties

brokerClusterName=DefaultCluster
    brokerName=broker-a
    brokerId=1
    deleteWhen=04
    fileReservedTime=48
    brokerRole=SLAVE
    flushDiskType=ASYNC_FLUSH
    namesrvAddr=192.168.1.210:9876;192.168.1.211:9876;192.168.1.212:9876;192.168.1.213:9876

*  rocketmqOS3 Master2节点：broker-b.properties

brokerClusterName=DefaultCluster
    brokerName=broker-b
    brokerId=0
    deleteWhen=04
    fileReservedTime=48
    brokerRole=ASYNC_MASTER
    flushDiskType=ASYNC_FLUSH
    namesrvAddr=192.168.1.210:9876;192.168.1.211:9876;192.168.1.212:9876;192.168.1.213:9876

*  rocketmqOS4 Slave2节点：broker-b-s.properties

brokerClusterName=DefaultCluster
    brokerName=broker-b
    brokerId=1
    deleteWhen=04
    fileReservedTime=48
    brokerRole=SLAVE
    flushDiskType=ASYNC_FLUSH
    namesrvAddr=192.168.1.210:9876;192.168.1.211:9876;192.168.1.212:9876;192.168.1.213:9876

注：每个节点只用到了其中一个配置文件，其余可删可不删，启动时指定是哪个配置文件就行。

配置文件各参数说明如下：

brokerId为0是Master，非0是Slave。
    deleteWhen=04代表删除过期文件的时间为凌晨4点。
    fileReservedTime=48 指定未发生更新的消息存储文件保留时间为48小时，48小时后过期，将被删除。
    brokerRole=ASYNC_MASTER指定当前broker为异步复制Master。
    flushDiskType=ASYNC_FLUSH指定刷盘策略为异步刷盘。
    namesrvAddr指定NameServer的地址。

#### 3.2 防火墙配置 ####

在 rocketMQ 中 NameServer 服务端口默认为 9876、broker 与 producer、consumer 通讯默认端口为10911，Master 与 Slave 通讯默认端口为10912，还有个10909端口是 rocketmq-console 控制台VIP通道需要用到。

开启4个节点的9876、10911、10912、10909端口

firewall-cmd --add-port=9876/tcp --permanent --zone=public
    firewall-cmd --add-port=10911/tcp --permanent --zone=public
    firewall-cmd --add-port=10912/tcp --permanent --zone=public
    firewall-cmd --add-port=10909/tcp --zone=public --permanent
    firewall-cmd --reload

注：10909端口根据你的 rocketmq-console VIP通道是否开启自行设置，也就是 application.properties 里 rocketmq.config.isVIPChannel 为 true 或 false，rocketmq-console 相关知识可移步本文第4节。

#### 3.3 启动集群 ####

##### 3.3.1 启动 NameServer 集群 #####

分别启动4个节点的 NameServer

nohup sh bin/mqnamesrv &

##### 3.3.2 启动 Master #####

分别启动 rocketmqOS1 和 rocketmqOS3 两个主机的 broker master，启动时指定我们配置的配置文件。

*  192.168.1.210 rocketmqOS1 Master1

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a.properties &

*  192.168.1.212 rocketmqOS3 Master2

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b.properties &

##### 3.3.3 启动 Slave #####

分别启动 rocketmqOS2 和 rocketmqOS4 两个主机的 broker slave，启动时指定我们配置的配置文件。

*  192.168.1.211 rocketmqOS2 Slave1

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-a-s.properties &

*  192.168.1.213 rocketmqOS4 Slave2

nohup sh bin/mqbroker -c conf/2m-2s-async/broker-b-s.properties &

全部启动完毕后，查看 broker 日志，如下  
![在这里插入图片描述][f6a5fcfdcec943eebd9da1ea881f0f73.png]

NameServer 日志如下  
![在这里插入图片描述][410223ccba4749618236401bb8023b6f.png]

可以看到各节点已正常注册连接。

### 4、图形化管理控制台 ###

rocketmq-console 是 RocketMQ 的扩展插件，是一个图形化管理控制台。  
下载地址：[https://github.com/apache/rocketmq-externals/releases][https_github.com_apache_rocketmq-externals_releases]  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_9_color_FFFFFF_t_70_g_se_x_16]

下载解压后，这个项目是个 springboot 工程，所以可以来做一些改动，比如端口号和 NameServer 地址等。  
我这里改动了端口，并且指定了 NameServer 的地址（有多个用分号隔开），如下  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_14_color_FFFFFF_t_70_g_se_x_16]

运行项目，访问 http://localhost:8088/  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_15_color_FFFFFF_t_70_g_se_x_16]

### 5、爬坑之路 ###

#### 5.1 启动服务无反应 ####

解决方法：修改初始内存，初始内存默认很大，主机内存太小的话无法启动。

#### 5.2 启动broker服务提示如下错误 ####

2021-08-28 16:08:18 ERROR DiskCheckScheduledThread1 - Error when measuring disk space usage, file doesn’t exist on this path: /root/store/commitlog  
![在这里插入图片描述][bafc820a86a94c58aead5e948e80e0ac.png]

目录下果然没有该文件夹，是版本bug。  
解决方法：手动创建该文件夹。

--------------------

觉得有帮助点个赞吧！！！  
原创不易，转载请注明出处。

> 微信扫一扫下方二维码即可关注我的公众号  
> ![201911051045512.jpg][]

[http_rocketmq.apache.org]: http://rocketmq.apache.org/
[http_archive.apache.org_dist_rocketmq]: http://archive.apache.org/dist/rocketmq/
[289684e00a8142e08ecdef952ea746bd.png]: /images/20220829/2cf2099f7d944904bae02887dab9d578.png
[0797d2b65dcb451c83ff56ce51c20198.png]: /images/20220829/ec79d48aa6984bf89c6ef68473748d04.png
[5837782d9f014eb6a4edb9e67cbc88fe.png]: /images/20220829/595daa61f3874978a7cc5db8f4fb4cf8.png
[705d35cc78d444b3974144d291bbdf1c.png]: /images/20220829/78671c0e53164912bd6cd2385c3710e4.png
[caf69d81118248bd8ca89a2dc0a99659.png]: /images/20220829/4d86cac2b7f94630a6aceb031daaf6af.png
[4608673d45934f59b4bd4e86606c5700.png]: /images/20220829/5c0eb9a3830a44e8aa841683ce2eccba.png
[80001ae07844412793e6c1560cd8dc6b.png]: /images/20220829/55d84497a8d14bcfb9be07a3ede5a3fc.png
[6b44737fd9f342e09474d4f172d8db43.png]: /images/20220829/9b8a8075893541dda78b3e6d2c7659f3.png
[a4101688fc6640ef8ccf41d4f3f819f8.png]: /images/20220829/d1b61de4e7734bd9bb3bb7662e90abc3.png
[9397ff28c9e749a1ba128c872248cb68.png]: /images/20220829/69b763f7122a49398fa8cc620368c9c7.png
[c36ee18a2ebe46e6a25bcc33fb34ca05.png]: /images/20220829/5c6fed8546174674b518a273847fbcb9.png
[5aa7bce8374a42f2aa3da6e04b44bfda.png]: /images/20220829/ad2ad6436286418db7bd3627fafe9fd2.png
[834eb95fe2b74ebda0d008b6ad9e938b.png]: /images/20220829/5360b0ffc5bb484087ea3e34ba60403a.png
[f9141cf0b0d8453bb54f0a996a431012.png]: /images/20220829/7d377b2b5c944b2a8c29870c0c5cb171.png
[8d3b3aa481524791af52939fee1ef645.png]: /images/20220829/66760e3832004da49edbc3c228ef118e.png
[f6a5fcfdcec943eebd9da1ea881f0f73.png]: /images/20220829/98a50629b9b8414e8b8466ac03f61089.png
[410223ccba4749618236401bb8023b6f.png]: /images/20220829/8145143c116446869bbfea03807cae58.png
[https_github.com_apache_rocketmq-externals_releases]: https://github.com/apache/rocketmq-externals/releases
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_9_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/38b028be8c0b4209b4b1fe2a602fe9f0.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_14_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/1e4121bfb9b14578a82c7b7d4d41a2da.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA56iL5bqP5ZGY5aSn5L2s6LaF_size_15_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/c6e7485fc2ce48a984bca580cb0da25a.png
[bafc820a86a94c58aead5e948e80e0ac.png]: /images/20220829/821e8b4f0a1b4786998afdad254bbb2e.png
[201911051045512.jpg]: /images/20220829/446fa988dc5747fbae7adc9dbba86c42.png