RocketMQ-01

心已赠人 2023-09-27 17:14 129阅读 0赞

## 1. MQ介绍 ##

### 1.1 为什么要用MQ ###

消息队列是一种“先进先出”的数据结构  
![在这里插入图片描述][11fd68ebd3f746d7b7c49fecb09331f4.png]  
其应用场景主要包含以下3个方面

*  应用解耦

系统的耦合性越高，容错性就越低。以电商应用为例，用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。

![在这里插入图片描述][647290df7f7547959473bfc527af87f5.png]使用消息队列解耦合，系统的耦合性就会提高了。比如物流系统发生故障，需要几分钟才能来修复，在这段时间内，物流系统要处理的数据被缓存到消息队列中，用户的下单操作正常完成。当物流系统回复后，补充处理存在消息队列中的订单消息即可，终端系统感知不到物流系统发生过几分钟故障。  
![在这里插入图片描述][ae65270074f14b77b54b52334c3aa6dc.png]  
流量削峰  
![在这里插入图片描述][df8561e97a5a400991f26972cd82d36f.png]  
应用系统如果遇到系统请求流量的瞬间猛增，有可能会将系统压垮。有了消息队列可以将大量请求缓存起来，分散到很长一段时间处理，这样可以大大提到系统的稳定性和用户体验。

![在这里插入图片描述][1cc8268ac94f4a1e942e7c4dad2fd245.png]  
一般情况，为了保证系统的稳定性，如果系统负载超过阈值，就会阻止用户请求，这会影响用户体验，而如果使用消息队列将请求缓存起来，等待系统处理完毕后通知用户下单完毕，这样总不能下单体验要好。

处于经济考量目的：

业务系统正常时段的QPS如果是1000，流量最高峰是10000，为了应对流量高峰配置高性能的服务器显然不划算，这时可以使用消息队列对峰值流量削峰

*  数据分发  
    ![在这里插入图片描述][13b8d58d8f0a474d961b936a6f20342a.png]  
    通过消息队列可以让数据在多个系统更加之间进行流通。数据的产生方不需要关心谁来使用数据，只需要将数据发送到消息队列，数据使用方直接在消息队列中直接获取数据即可  
    ![在这里插入图片描述][06cb6f46d8834d55b1029bd37448023a.png]

### 1.2 MQ的优点和缺点 ###

优点：解耦、削峰、数据分发

缺点包含以下几点：

*  系统可用性降低
    
    系统引入的外部依赖越多，系统稳定性越差。一旦MQ宕机，就会对业务造成影响。
    
    如何保证MQ的高可用？
 *  系统复杂度提高
    
    MQ的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过MQ进行异步调用。
    
    如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？
 *  一致性问题
    
    A系统处理完业务，通过MQ给B、C、D三个系统发消息数据，如果B系统、C系统处理成功，D系统处理失败。
    
    如何保证消息数据处理的一致性？

### 1.3 各种MQ产品的比较 ###

常见的MQ产品包括Kafka、ActiveMQ、RabbitMQ、RocketMQ。

![在这里插入图片描述][78045676070d404aba46e82c0b570bfc.png]

## 2. RocketMQ快速入门 ##

RocketMQ是阿里巴巴2016年MQ中间件，使用Java语言开发，在阿里内部，RocketMQ承接了例如“双11”等高并发场景的消息流转，能够处理万亿级别的消息。

### 2.1 准备工作 ###

#### 2.1.1 下载RocketMQ ####

RocketMQ最新版本：4.5.1

[下载地址][Link 1]

#### 2.2.2 环境要求 ####

*  Linux64位系统
 *  JDK1.8(64位)
 *  源码安装需要安装Maven 3.2.x

### 2.2 安装RocketMQ ###

#### 2.2.1 安装步骤 ####

本教程以二进制包方式安装

1.  解压安装包
2.  进入安装目录

#### 2.2.2 目录介绍 ####

*  bin：启动脚本，包括shell脚本和CMD脚本
 *  conf：实例配置文件 ，包括broker配置文件、logback配置文件等
 *  lib：依赖jar包，包括Netty、commons-lang、FastJSON等

### 2.3 启动RocketMQ ###

1.  启动NameServer

# 1.启动NameServer
    nohup sh bin/mqnamesrv &
    # 2.查看启动日志
    tail -f ~/logs/rocketmqlogs/namesrv.log

1.  启动Broker

# 1.启动Broker
    nohup sh bin/mqbroker -n localhost:9876 &
    # 2.查看启动日志
    tail -f ~/logs/rocketmqlogs/broker.log

*  问题描述：
    
    RocketMQ默认的虚拟机内存较大，启动Broker如果因为内存不足失败，需要编辑如下两个配置文件，修改JVM内存大小

# 编辑runbroker.sh和runserver.sh修改默认JVM大小
    vi runbroker.sh
    vi runserver.sh

*  参考设置：

`JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"`

### 2.4 测试RocketMQ ###

#### 2.4.1 发送消息 ####

# 1.设置环境变量
    export NAMESRV_ADDR=localhost:9876
    # 2.使用安装包的Demo发送消息
    sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer

#### 2.4.2 接收消息 ####

# 1.设置环境变量
    export NAMESRV_ADDR=localhost:9876
    # 2.接收消息
    sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

### 2.5 关闭RocketMQ ###

# 1.关闭NameServer
    sh bin/mqshutdown namesrv
    # 2.关闭Broker
    sh bin/mqshutdown broker

## 3. RocketMQ集群搭建 ##

### 3.1 各角色介绍 ###

*  Producer：消息的发送者；举例：发信者
 *  Consumer：消息接收者；举例：收信者
 *  Broker：暂存和传输消息；举例：邮局
 *  NameServer：管理Broker；举例：各个邮局的管理机构
 *  Topic：区分消息的种类；一个发送者可以发送消息给一个或者多个Topic；一个消息的接收者可以订阅一个或者多个Topic消息
 *  Message Queue：相当于是Topic的分区；用于并行发送和接收消息  
    ![在这里插入图片描述][ecfeeca648564ce9a29ed30c45d251ff.png]

### 3.2 集群搭建方式 ###

#### 3.2.1 集群特点 ####

*  NameServer是一个几乎无状态节点，可集群部署，节点之间无任何信息同步。
 *  Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与NameServer集群中的所有节点建立长连接，定时注册Topic信息到所有NameServer。
 *  Producer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master建立长连接，且定时向Master发送心跳。Producer完全无状态，可集群部署。
 *  Consumer与NameServer集群中的其中一个节点（随机选择）建立长连接，定期从NameServer取Topic路由信息，并向提供Topic服务的Master、Slave建立长连接，且定时向Master、Slave发送心跳。Consumer既可以从Master订阅消息，也可以从Slave订阅消息，订阅规则由Broker配置决定。

#### 3.2.3 集群模式 ####

##### 1）单Master模式 #####

这种方式风险较大，一旦Broker重启或者宕机时，会导致整个服务不可用。不建议线上环境使用,可以用于本地测试。

##### 2）多Master模式 #####

一个集群无Slave，全是Master，例如2个Master或者3个Master，这种模式的优缺点如下：

*  优点：配置简单，单个Master宕机或重启维护对应用无影响，在磁盘配置为RAID10时，即使机器宕机不可恢复情况下，由于RAID10磁盘非常可靠，消息也不会丢（异步刷盘丢失少量消息，同步刷盘一条不丢），性能最高；
 *  缺点：单台机器宕机期间，这台机器上未被消费的消息在机器恢复之前不可订阅，消息实时性会受到影响。

##### 3）多Master多Slave模式（异步） #####

每个Master配置一个Slave，有多对Master-Slave，HA采用异步复制方式，主备有短暂消息延迟（毫秒级），这种模式的优缺点如下：

*  优点：即使磁盘损坏，消息丢失的非常少，且消息实时性不会受影响，同时Master宕机后，消费者仍然可以从Slave消费，而且此过程对应用透明，不需要人工干预，性能同多Master模式几乎一样；
 *  缺点：Master宕机，磁盘损坏情况下会丢失少量消息。

##### 4）多Master多Slave模式（同步） #####

每个Master配置一个Slave，有多对Master-Slave，HA采用同步双写方式，即只有主备都写成功，才向应用返回成功，这种模式的优缺点如下：

*  优点：数据与服务都无单点故障，Master宕机情况下，消息无延迟，服务可用性与数据可用性都非常高；
 *  缺点：性能比异步复制模式略低（大约低10%左右），发送单个消息的RT会略高，且目前版本在主节点宕机后，备机不能自动切换为主机。

### 3.3 双主双从集群搭建 ###

#### 3.3.1 总体架构 ####

消息高可用采用2m-2s（同步双写）方式  
![在这里插入图片描述][7670363a8a674bc0917f8b6b0d9faf71.png]

#### 3.3.2 集群工作流程 ####

1.  启动NameServer，NameServer起来后监听端口，等待Broker、Producer、Consumer连上来，相当于一个路由控制中心。
2.  Broker启动，跟所有的NameServer保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有Topic信息。注册成功后，NameServer集群中就有Topic跟Broker的映射关系。
3.  收发消息前，先创建Topic，创建Topic时需要指定该Topic要存储在哪些Broker上，也可以在发送消息时自动创建Topic。
4.  Producer发送消息，启动时先跟NameServer集群中的其中一台建立长连接，并从NameServer中获取当前发送的Topic存在哪些Broker上，轮询从队列列表中选择一个队列，然后与队列所在的Broker建立长连接从而向Broker发消息。
5.  Consumer跟Producer类似，跟其中一台NameServer建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。

#### 3.3.3 服务器环境 ####

<table> 
 <thead> 
  <tr> 
   <th><strong>序号</strong></th> 
   <th><strong>IP</strong></th> 
   <th><strong>角色</strong></th> 
   <th><strong>架构模式</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>192.168.25.135</td> 
   <td>nameserver、brokerserver</td> 
   <td>Master1、Slave2</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>192.168.25.138</td> 
   <td>nameserver、brokerserver</td> 
   <td>Master2、Slave1</td> 
  </tr> 
 </tbody> 
</table>

#### 3.3.4 Host添加信息 ####

vim /etc/hosts

配置如下:

# nameserver
    192.168.25.135 rocketmq-nameserver1
    192.168.25.138 rocketmq-nameserver2
    # broker
    192.168.25.135 rocketmq-master1
    192.168.25.135 rocketmq-slave2
    192.168.25.138 rocketmq-master2
    192.168.25.138 rocketmq-slave1

配置完成后, 重启网卡

systemctl restart network

#### 3.3.5 防火墙配置 ####

宿主机需要远程访问虚拟机的rocketmq服务和web服务，需要开放相关的端口号，简单粗暴的方式是直接关闭防火墙

# 关闭防火墙
    systemctl stop firewalld.service 
    # 查看防火墙的状态
    firewall-cmd --state 
    # 禁止firewall开机启动
    systemctl disable firewalld.service

或者为了安全，只开放特定的端口号，RocketMQ默认使用3个端口：9876 、10911 、11011 。如果防火墙没有关闭的话，那么防火墙就必须开放这些端口：

*  `nameserver` 默认使用 9876 端口
 *  `master` 默认使用 10911 端口
 *  `slave` 默认使用11011 端口

执行以下命令：

# 开放name server默认端口
    firewall-cmd --remove-port=9876/tcp --permanent
    # 开放master默认端口
    firewall-cmd --remove-port=10911/tcp --permanent
    # 开放slave默认端口 (当前集群模式可不开启)
    firewall-cmd --remove-port=11011/tcp --permanent 
    # 重启防火墙
    firewall-cmd --reload

#### 3.3.6 环境变量配置 ####

vim /etc/profile

在profile文件的末尾加入如下命令

#set rocketmq
    ROCKETMQ_HOME=/usr/local/rocketmq/rocketmq-all-4.4.0-bin-release
    PATH=$PATH:$ROCKETMQ_HOME/bin
    export ROCKETMQ_HOME PATH

输入:wq! 保存并退出， 并使得配置立刻生效：

source /etc/profile

#### 3.3.7 创建消息存储路径 ####

mkdir /usr/local/rocketmq/store
    mkdir /usr/local/rocketmq/store/commitlog
    mkdir /usr/local/rocketmq/store/consumequeue
    mkdir /usr/local/rocketmq/store/index

#### 3.3.8 broker配置文件 ####

##### 1）master1 #####

服务器：192.168.25.135

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a.properties

修改配置如下：

#所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，注意此处不同的配置文件填写的不一样
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer地址，分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口
    listenPort=10911
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=SYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

##### 2）slave2 #####

服务器：192.168.25.135

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b-s.properties

修改配置如下：

#所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，注意此处不同的配置文件填写的不一样
    brokerName=broker-b
    #0 表示 Master，>0 表示 Slave
    brokerId=1
    #nameServer地址，分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口
    listenPort=11011
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

##### 3）master2 #####

服务器：192.168.25.138

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-b.properties

修改配置如下：

#所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，注意此处不同的配置文件填写的不一样
    brokerName=broker-b
    #0 表示 Master，>0 表示 Slave
    brokerId=0
    #nameServer地址，分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口
    listenPort=10911
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SYNC_MASTER
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=SYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

##### 4）slave1 #####

服务器：192.168.25.138

vi /usr/soft/rocketmq/conf/2m-2s-sync/broker-a-s.properties

修改配置如下：

#所属集群名字
    brokerClusterName=rocketmq-cluster
    #broker名字，注意此处不同的配置文件填写的不一样
    brokerName=broker-a
    #0 表示 Master，>0 表示 Slave
    brokerId=1
    #nameServer地址，分号分割
    namesrvAddr=rocketmq-nameserver1:9876;rocketmq-nameserver2:9876
    #在发送消息时，自动创建服务器不存在的topic，默认创建的队列数
    defaultTopicQueueNums=4
    #是否允许 Broker 自动创建Topic，建议线下开启，线上关闭
    autoCreateTopicEnable=true
    #是否允许 Broker 自动创建订阅组，建议线下开启，线上关闭
    autoCreateSubscriptionGroup=true
    #Broker 对外服务的监听端口
    listenPort=11011
    #删除文件时间点，默认凌晨 4点
    deleteWhen=04
    #文件保留时间，默认 48 小时
    fileReservedTime=120
    #commitLog每个文件的大小默认1G
    mapedFileSizeCommitLog=1073741824
    #ConsumeQueue每个文件默认存30W条，根据业务情况调整
    mapedFileSizeConsumeQueue=300000
    #destroyMapedFileIntervalForcibly=120000
    #redeleteHangedFileInterval=120000
    #检测物理文件磁盘空间
    diskMaxUsedSpaceRatio=88
    #存储路径
    storePathRootDir=/usr/local/rocketmq/store
    #commitLog 存储路径
    storePathCommitLog=/usr/local/rocketmq/store/commitlog
    #消费队列存储路径存储路径
    storePathConsumeQueue=/usr/local/rocketmq/store/consumequeue
    #消息索引存储路径
    storePathIndex=/usr/local/rocketmq/store/index
    #checkpoint 文件存储路径
    storeCheckpoint=/usr/local/rocketmq/store/checkpoint
    #abort 文件存储路径
    abortFile=/usr/local/rocketmq/store/abort
    #限制的消息大小
    maxMessageSize=65536
    #flushCommitLogLeastPages=4
    #flushConsumeQueueLeastPages=2
    #flushCommitLogThoroughInterval=10000
    #flushConsumeQueueThoroughInterval=60000
    #Broker 的角色
    #- ASYNC_MASTER 异步复制Master
    #- SYNC_MASTER 同步双写Master
    #- SLAVE
    brokerRole=SLAVE
    #刷盘方式
    #- ASYNC_FLUSH 异步刷盘
    #- SYNC_FLUSH 同步刷盘
    flushDiskType=ASYNC_FLUSH
    #checkTransactionMessageEnable=false
    #发消息线程池数量
    #sendMessageThreadPoolNums=128
    #拉消息线程池数量
    #pullMessageThreadPoolNums=128

#### 3.3.9 修改启动脚本文件 ####

##### 1）runbroker.sh #####

vi /usr/local/rocketmq/bin/runbroker.sh

需要根据内存大小进行适当的对JVM参数进行调整：

#===================================================
    # 开发环境配置 JVM Configuration
    JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m"

\#\#\#\#2）runserver.sh

vim /usr/local/rocketmq/bin/runserver.sh

JAVA_OPT="${JAVA_OPT} -server -Xms256m -Xmx256m -Xmn128m -XX:MetaspaceSize=128m -XX:MaxMetaspaceSize=320m"

#### 3.3.10 服务启动 ####

##### 1）启动NameServe集群 #####

分别在192.168.25.135和192.168.25.138启动NameServer

cd /usr/local/rocketmq/bin
    nohup sh mqnamesrv &

##### 2）启动Broker集群 #####

*  在192.168.25.135上启动master1和slave2

master1：

cd /usr/local/rocketmq/bin
    nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-syncbroker-a.properties &

slave2：

cd /usr/local/rocketmq/bin
    nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b-s.properties &

*  在192.168.25.138上启动master2和slave2

master2

cd /usr/local/rocketmq/bin
    nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-b.properties &

slave1

cd /usr/local/rocketmq/bin
    nohup sh mqbroker -c /usr/local/rocketmq/conf/2m-2s-sync/broker-a-s.properties &

#### 3.3.11 查看进程状态 ####

启动后通过JPS查看启动进程

![在这里插入图片描述][687f5323bc2544948463a8a3c4e24038.png]

#### 3.3.12 查看日志 ####

# 查看nameServer日志
    tail -500f ~/logs/rocketmqlogs/namesrv.log
    # 查看broker日志
    tail -500f ~/logs/rocketmqlogs/broker.log

### 3.4 mqadmin管理工具 ###

#### 3.4.1 使用方式 ####

进入RocketMQ安装位置，在bin目录下执行`./mqadmin {command} {args}`

#### 3.4.2 命令介绍 ####

##### 1）Topic相关 #####

<table>       
 <tbody> 
  <tr> 
   <td>名称</td> 
   <td>含义</td> 
   <td>命令选项</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>updateTopic</td> 
   <td>创建更新Topic配置</td> 
   <td>-b</td> 
   <td>Broker 地址，表示 topic 所在 Broker，只支持单台Broker，地址为ip:port</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>cluster 名称，表示 topic 所在集群（集群可通过 clusterList 查询）</td> 
  </tr> 
  <tr> 
   <td>-h-</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-p</td> 
   <td>指定新topic的读写权限( W=2|R=4|WR=6 )</td> 
  </tr> 
  <tr> 
   <td>-r</td> 
   <td>可读队列数（默认为 8）</td> 
  </tr> 
  <tr> 
   <td>-w</td> 
   <td>可写队列数（默认为 8）</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic 名称（名称只能使用字符 ^[a-zA-Z0-9_-]+$ ）</td> 
  </tr> 
  <tr> 
   <td>deleteTopic</td> 
   <td>删除Topic</td> 
   <td>-c</td> 
   <td>cluster 名称，表示删除某集群下的某个 topic （集群 可通过 clusterList 查询）</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic 名称（名称只能使用字符 ^[a-zA-Z0-9_-]+$ ）</td> 
  </tr> 
  <tr> 
   <td>topicList</td> 
   <td>查看 Topic 列表信息</td> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>不配置-c只返回topic列表，增加-c返回clusterName, topic, consumerGroup信息，即topic的所属集群和订阅关系，没有参数</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>topicRoute</td> 
   <td>查看 Topic 路由信息</td> 
   <td>-t</td> 
   <td>topic 名称</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>topicStatus</td> 
   <td>查看 Topic 消息队列offset</td> 
   <td>-t</td> 
   <td>topic 名称</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>topicClusterList</td> 
   <td>查看 Topic 所在集群列表</td> 
   <td>-t</td> 
   <td>topic 名称</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>updateTopicPerm</td> 
   <td>更新 Topic 读写权限</td> 
   <td>-t</td> 
   <td>topic 名称</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-b</td> 
   <td>Broker 地址，表示 topic 所在 Broker，只支持单台Broker，地址为ip:port</td> 
  </tr> 
  <tr> 
   <td>-p</td> 
   <td>指定新 topic 的读写权限( W=2|R=4|WR=6 )</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>cluster 名称，表示 topic 所在集群（集群可通过 clusterList 查询），-b优先，如果没有-b，则对集群中所有Broker执行命令</td> 
  </tr> 
  <tr> 
   <td>updateOrderConf</td> 
   <td>从NameServer上创建、删除、获取特定命名空间的kv配置，目前还未启用</td> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic，键</td> 
  </tr> 
  <tr> 
   <td>-v</td> 
   <td>orderConf，值</td> 
  </tr> 
  <tr> 
   <td>-m</td> 
   <td>method，可选get、put、delete</td> 
  </tr> 
  <tr> 
   <td>allocateMQ</td> 
   <td>以平均负载算法计算消费者列表负载消息队列的负载结果</td> 
   <td>-t</td> 
   <td>topic 名称</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>ipList，用逗号分隔，计算这些ip去负载Topic的消息队列</td> 
  </tr> 
  <tr> 
   <td>statsAll</td> 
   <td>打印Topic订阅关系、TPS、积累量、24h读写总量等信息</td> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-a</td> 
   <td>是否只打印活跃topic</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>指定topic</td> 
  </tr> 
 </tbody> 
</table>

##### 2）集群相关 #####

<table>       
 <tbody> 
  <tr> 
   <td>名称</td> 
   <td>含义</td> 
   <td>命令选项</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td> clusterList</td> 
   <td>查看集群信息，集群、BrokerName、BrokerId、TPS等信息</td> 
   <td>-m</td> 
   <td>打印更多信息 (增加打印出如下信息 #InTotalYest, #OutTotalYest, #InTotalToday ,#OutTotalToday)</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>打印间隔，单位秒</td> 
  </tr> 
  <tr> 
   <td>clusterRT</td> 
   <td>发送消息检测集群各Broker RT。消息发往${BrokerName} Topic。</td> 
   <td>-a</td> 
   <td>amount，每次探测的总数，RT = 总时间 / amount</td> 
  </tr> 
  <tr> 
   <td>-s</td> 
   <td>消息大小，单位B</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>探测哪个集群</td> 
  </tr> 
  <tr> 
   <td>-p</td> 
   <td>是否打印格式化日志，以|分割，默认不打印</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-m</td> 
   <td>所属机房，打印使用</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>发送间隔，单位秒</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
 </tbody> 
</table>

##### 3）Broker相关 #####

<table>       
 <tbody> 
  <tr> 
   <td>名称</td> 
   <td>含义</td> 
   <td>命令选项</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>updateBrokerConfig</td> 
   <td>更新 Broker 配置文件，会修改Broker.conf</td> 
   <td>-b</td> 
   <td>Broker 地址，格式为ip:port</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>cluster 名称</td> 
  </tr> 
  <tr> 
   <td>-k</td> 
   <td>key 值</td> 
  </tr> 
  <tr> 
   <td>-v</td> 
   <td>value 值</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>brokerStatus</td> 
   <td>查看 Broker 统计信息、运行状态（你想要的信息几乎都在里面）</td> 
   <td>-b</td> 
   <td>Broker 地址，地址为ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>brokerConsumeStats</td> 
   <td>Broker中各个消费者的消费情况，按Message Queue维度返回Consume Offset，Broker Offset，Diff，TImestamp等信息</td> 
   <td>-b</td> 
   <td>Broker 地址，地址为ip:port</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>请求超时时间</td> 
  </tr> 
  <tr> 
   <td>-l</td> 
   <td>diff阈值，超过阈值才打印</td> 
  </tr> 
  <tr> 
   <td>-o</td> 
   <td>是否为顺序topic，一般为false</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>getBrokerConfig</td> 
   <td>获取Broker配置</td> 
   <td>-b</td> 
   <td>Broker 地址，地址为ip:port</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>wipeWritePerm</td> 
   <td>从NameServer上清除 Broker写权限</td> 
   <td>-b</td> 
   <td>Broker 地址，地址为ip:port</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>cleanExpiredCQ</td> 
   <td>清理Broker上过期的Consume Queue，如果手动减少对列数可能产生过期队列</td> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-b</td> 
   <td>Broker 地址，地址为ip:port</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>集群名称</td> 
  </tr> 
  <tr> 
   <td>cleanUnusedTopic</td> 
   <td>清理Broker上不使用的Topic，从内存中释放Topic的Consume Queue，如果手动删除Topic会产生不使用的Topic</td> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-b</td> 
   <td>Broker 地址，地址为ip:port</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>集群名称</td> 
  </tr> 
  <tr> 
   <td>sendMsgStatus</td> 
   <td>向Broker发消息，返回发送状态和RT</td> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-b</td> 
   <td>BrokerName，注意不同于Broker地址</td> 
  </tr> 
  <tr> 
   <td>-s</td> 
   <td>消息大小，单位B</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>发送次数</td> 
  </tr> 
 </tbody> 
</table>

##### 4）消息相关 #####

<table>       
 <tbody> 
  <tr> 
   <td>名称</td> 
   <td>含义</td> 
   <td>命令选项</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>queryMsgById</td> 
   <td>根据offsetMsgId查询msg，如果使用开源控制台，应使用offsetMsgId，此命令还有其他参数，具体作用请阅读QueryMsgByIdSubCommand。</td> 
   <td>-i</td> 
   <td>msgId</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>queryMsgByKey</td> 
   <td>根据消息 Key 查询消息</td> 
   <td>-k</td> 
   <td>msgKey</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>Topic 名称</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>queryMsgByOffset</td> 
   <td>根据 Offset 查询消息</td> 
   <td>-b</td> 
   <td>Broker 名称，（这里需要注意 填写的是 Broker 的名称，不是 Broker 的地址，Broker 名称可以在 clusterList 查到）</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>query 队列 id</td> 
  </tr> 
  <tr> 
   <td>-o</td> 
   <td>offset 值</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic 名称</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>queryMsgByUniqueKey</td> 
   <td>根据msgId查询，msgId不同于offsetMsgId，区别详见常见运维问题。-g，-d配合使用，查到消息后尝试让特定的消费者消费消息并返回消费结果</td> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>uniqe msg id</td> 
  </tr> 
  <tr> 
   <td>-g</td> 
   <td>consumerGroup</td> 
  </tr> 
  <tr> 
   <td>-d</td> 
   <td>clientId</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic名称</td> 
  </tr> 
  <tr> 
   <td>checkMsgSendRT</td> 
   <td>检测向topic发消息的RT，功能类似clusterRT</td> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic名称</td> 
  </tr> 
  <tr> 
   <td>-a</td> 
   <td>探测次数</td> 
  </tr> 
  <tr> 
   <td>-s</td> 
   <td>消息大小</td> 
  </tr> 
  <tr> 
   <td>sendMessage</td> 
   <td>发送一条消息，可以根据配置发往特定Message Queue，或普通发送。</td> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic名称</td> 
  </tr> 
  <tr> 
   <td>-p</td> 
   <td>body，消息体</td> 
  </tr> 
  <tr> 
   <td>-k</td> 
   <td>keys</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>tags</td> 
  </tr> 
  <tr> 
   <td>-b</td> 
   <td>BrokerName</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>queueId</td> 
  </tr> 
  <tr> 
   <td>consumeMessage</td> 
   <td>消费消息。可以根据offset、开始&amp;结束时间戳、消息队列消费消息，配置不同执行不同消费逻辑，详见ConsumeMessageCommand。</td> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic名称</td> 
  </tr> 
  <tr> 
   <td>-b</td> 
   <td>BrokerName</td> 
  </tr> 
  <tr> 
   <td>-o</td> 
   <td>从offset开始消费</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>queueId</td> 
  </tr> 
  <tr> 
   <td>-g</td> 
   <td>消费者分组</td> 
  </tr> 
  <tr> 
   <td>-s</td> 
   <td>开始时间戳，格式详见-h</td> 
  </tr> 
  <tr> 
   <td>-d</td> 
   <td>结束时间戳</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>消费多少条消息</td> 
  </tr> 
  <tr> 
   <td>printMsg</td> 
   <td>从Broker消费消息并打印，可选时间段</td> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic名称</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>字符集，例如UTF-8</td> 
  </tr> 
  <tr> 
   <td>-s</td> 
   <td>subExpress，过滤表达式</td> 
  </tr> 
  <tr> 
   <td>-b</td> 
   <td>开始时间戳，格式参见-h</td> 
  </tr> 
  <tr> 
   <td>-e</td> 
   <td>结束时间戳</td> 
  </tr> 
  <tr> 
   <td>-d</td> 
   <td>是否打印消息体</td> 
  </tr> 
  <tr> 
   <td>printMsgByQueue</td> 
   <td>类似printMsg，但指定Message Queue</td> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic名称</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>queueId</td> 
  </tr> 
  <tr> 
   <td>-a</td> 
   <td>BrokerName</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>字符集，例如UTF-8</td> 
  </tr> 
  <tr> 
   <td>-s</td> 
   <td>subExpress，过滤表达式</td> 
  </tr> 
  <tr> 
   <td>-b</td> 
   <td>开始时间戳，格式参见-h</td> 
  </tr> 
  <tr> 
   <td>-e</td> 
   <td>结束时间戳</td> 
  </tr> 
  <tr> 
   <td>-p</td> 
   <td>是否打印消息</td> 
  </tr> 
  <tr> 
   <td>-d</td> 
   <td>是否打印消息体</td> 
  </tr> 
  <tr> 
   <td>-f</td> 
   <td>是否统计tag数量并打印</td> 
  </tr> 
  <tr> 
   <td>resetOffsetByTime</td> 
   <td>按时间戳重置offset，Broker和consumer都会重置</td> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-g</td> 
   <td>消费者分组</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic名称</td> 
  </tr> 
  <tr> 
   <td>-s</td> 
   <td>重置为此时间戳对应的offset</td> 
  </tr> 
  <tr> 
   <td>-f</td> 
   <td>是否强制重置，如果false，只支持回溯offset，如果true，不管时间戳对应offset与consumeOffset关系</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>是否重置c++客户端offset</td> 
  </tr> 
 </tbody> 
</table>

##### 5）消费者、消费组相关 #####

<table>       
 <tbody> 
  <tr> 
   <td>名称</td> 
   <td>含义</td> 
   <td>命令选项</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>consumerProgress</td> 
   <td>查看订阅组消费状态，可以查看具体的client IP的消息积累量</td> 
   <td>-g</td> 
   <td>消费者所属组名</td> 
  </tr> 
  <tr> 
   <td>-s</td> 
   <td>是否打印client IP</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>consumerStatus</td> 
   <td>查看消费者状态，包括同一个分组中是否都是相同的订阅，分析Process Queue是否堆积，返回消费者jstack结果，内容较多，使用者参见ConsumerStatusSubCommand</td> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-g</td> 
   <td>consumer group</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>clientId</td> 
  </tr> 
  <tr> 
   <td>-s</td> 
   <td>是否执行jstack</td> 
  </tr> 
  <tr> 
   <td>getConsumerStatus</td> 
   <td>获取 Consumer 消费进度</td> 
   <td>-g</td> 
   <td>消费者所属组名</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>查询主题</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>Consumer 客户端 ip</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>updateSubGroup</td> 
   <td>更新或创建订阅关系</td> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-b</td> 
   <td>Broker地址</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>集群名称</td> 
  </tr> 
  <tr> 
   <td>-g</td> 
   <td>消费者分组名称</td> 
  </tr> 
  <tr> 
   <td>-s</td> 
   <td>分组是否允许消费</td> 
  </tr> 
  <tr> 
   <td>-m</td> 
   <td>是否从最小offset开始消费</td> 
  </tr> 
  <tr> 
   <td>-d</td> 
   <td>是否是广播模式</td> 
  </tr> 
  <tr> 
   <td>-q</td> 
   <td>重试队列数量</td> 
  </tr> 
  <tr> 
   <td>-r</td> 
   <td>最大重试次数</td> 
  </tr> 
  <tr> 
   <td>-i</td> 
   <td>当slaveReadEnable开启时有效，且还未达到从slave消费时建议从哪个BrokerId消费，可以配置备机id，主动从备机消费</td> 
  </tr> 
  <tr> 
   <td>-w</td> 
   <td>如果Broker建议从slave消费，配置决定从哪个slave消费，配置BrokerId，例如1</td> 
  </tr> 
  <tr> 
   <td>-a</td> 
   <td>当消费者数量变化时是否通知其他消费者负载均衡</td> 
  </tr> 
  <tr> 
   <td>deleteSubGroup</td> 
   <td>从Broker删除订阅关系</td> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-b</td> 
   <td>Broker地址</td> 
  </tr> 
  <tr> 
   <td>-c</td> 
   <td>集群名称</td> 
  </tr> 
  <tr> 
   <td>-g</td> 
   <td>消费者分组名称</td> 
  </tr> 
  <tr> 
   <td>cloneGroupOffset</td> 
   <td>在目标群组中使用源群组的offset</td> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-s</td> 
   <td>源消费者组</td> 
  </tr> 
  <tr> 
   <td>-d</td> 
   <td>目标消费者组</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>topic名称</td> 
  </tr> 
  <tr> 
   <td>-o</td> 
   <td>暂未使用</td> 
  </tr> 
 </tbody> 
</table>

##### 6）连接相关 #####

<table>       
 <tbody> 
  <tr> 
   <td>名称</td> 
   <td>含义</td> 
   <td>命令选项</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>consumerConnec tion</td> 
   <td>查询 Consumer 的网络连接</td> 
   <td>-g</td> 
   <td>消费者所属组名</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>producerConnec tion</td> 
   <td>查询 Producer 的网络连接</td> 
   <td>-g</td> 
   <td>生产者所属组名</td> 
  </tr> 
  <tr> 
   <td>-t</td> 
   <td>主题名称</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
 </tbody> 
</table>

##### 7）NameServer相关 #####

<table>       
 <tbody> 
  <tr> 
   <td>名称</td> 
   <td>含义</td> 
   <td>命令选项</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>updateKvConfig</td> 
   <td>更新NameServer的kv配置，目前还未使用</td> 
   <td>-s</td> 
   <td>命名空间</td> 
  </tr> 
  <tr> 
   <td>-k</td> 
   <td>key</td> 
  </tr> 
  <tr> 
   <td>-v</td> 
   <td>value</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>deleteKvConfig</td> 
   <td>删除NameServer的kv配置</td> 
   <td>-s</td> 
   <td>命名空间</td> 
  </tr> 
  <tr> 
   <td>-k</td> 
   <td>key</td> 
  </tr> 
  <tr> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>getNamesrvConfig</td> 
   <td>获取NameServer配置</td> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>updateNamesrvConfig</td> 
   <td>修改NameServer配置</td> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
  <tr> 
   <td>-k</td> 
   <td>key</td> 
  </tr> 
  <tr> 
   <td>-v</td> 
   <td>value</td> 
  </tr> 
 </tbody> 
</table>

##### 8）其他 #####

<table>       
 <tbody> 
  <tr> 
   <td>名称</td> 
   <td>含义</td> 
   <td>命令选项</td> 
   <td>说明</td> 
  </tr> 
  <tr> 
   <td>startMonitoring</td> 
   <td>开启监控进程，监控消息误删、重试队列消息数等</td> 
   <td>-n</td> 
   <td>NameServer 服务地址，格式 ip:port</td> 
  </tr> 
  <tr> 
   <td>-h</td> 
   <td>打印帮助</td> 
  </tr> 
 </tbody> 
</table>

#### 3.4.3 注意事项 ####

*  几乎所有命令都需要配置-n表示NameServer地址，格式为ip:port
 *  几乎所有命令都可以通过-h获取帮助
 *  如果既有Broker地址（-b）配置项又有clusterName（-c）配置项，则优先以Broker地址执行命令；如果不配置Broker地址，则对集群中所有主机执行命令

### 3.5 集群监控平台搭建 ###

#### 3.5.1 概述 ####

`RocketMQ`有一个对其扩展的开源项目[incubator-rocketmq-externals][]，这个项目中有一个子模块叫`rocketmq-console`，这个便是管理控制台项目了，先将[incubator-rocketmq-externals][]拉到本地，因为我们需要自己对`rocketmq-console`进行编译打包运行。

![在这里插入图片描述][6082908e3ffd4083b820495a1dcdbb62.png]

#### 3.5.2 下载并编译打包 ####

git clone https://github.com/apache/rocketmq-externals
    cd rocketmq-console
    mvn clean package -Dmaven.test.skip=true

注意：打包前在`rocketmq-console`中配置`namesrv`集群地址：

rocketmq.config.namesrvAddr=192.168.25.135:9876;192.168.25.138:9876

启动rocketmq-console：

java -jar rocketmq-console-ng-1.0.0.jar

启动成功后，我们就可以通过浏览器访问`http://localhost:8080`进入控制台界面了，如下图：  
![在这里插入图片描述][91708215921c44a7a718a582771d3fee.png]  
集群状态：

![在这里插入图片描述][bb057bdac57a4870ad6e5f4f4794ab9f.png]

## 4. 消息发送样例 ##

*  导入MQ客户端依赖

<dependency>
        <groupId>org.apache.rocketmq</groupId>
        <artifactId>rocketmq-client</artifactId>
        <version>4.4.0</version>
    </dependency>

*  消息发送者步骤分析r

1.创建消息生产者producer，并制定生产者组名
    2.指定Nameserver地址
    3.启动producer
    4.创建消息对象，指定主题Topic、Tag和消息体
    5.发送消息
    6.关闭生产者producer

*  消息消费者步骤分析

1.创建消费者Consumer，制定消费者组名
    2.指定Nameserver地址
    3.订阅主题Topic和Tag
    4.设置回调函数，处理消息
    5.启动消费者consumer

### 4.1 基本样例 ###

#### 4.1.1 消息发送 ####

##### 1）发送同步消息 #####

这种可靠性同步地发送方式使用的比较广泛，比如：重要的消息通知，短信通知。

/**
     * 发送同步消息
     */
    public class SyncProducer {
        
    
        public static void main(String[] args) throws Exception {
        
            //1.创建消息生产者producer，并制定生产者组名
            DefaultMQProducer producer = new DefaultMQProducer("group1");
            //2.指定Nameserver地址
            producer.setNamesrvAddr("192.168.25.135:9876;192.168.25.138:9876");
            //3.启动producer
            producer.start();
    
            for (int i = 0; i < 10; i++) {
        
                //4.创建消息对象，指定主题Topic、Tag和消息体
                /**
                 * 参数一：消息主题Topic
                 * 参数二：消息Tag
                 * 参数三：消息内容
                 */
                Message msg = new Message("springboot-mq", "Tag1", ("Hello World" + i).getBytes());
                //5.发送消息
                SendResult result = producer.send(msg);
                //发送状态
                SendStatus status = result.getSendStatus();
                // 消息id
                String msgId = result.getMsgId();
                // 消息接收队列id
                int queueId = result.getMessageQueue().getQueueId();
    
                System.out.println("发送结果:" + result);
    
                //线程睡1秒
                TimeUnit.SECONDS.sleep(1);
            }
    
            //6.关闭生产者producer
            producer.shutdown();
        }
    }

##### 2）发送异步消息 #####

异步消息通常用在对响应时间敏感的业务场景，即发送端不能容忍长时间地等待Broker的响应。

/**
     * 发送异步消息
     */
    public class AsyncProducer {
        
    
        public static void main(String[] args) throws Exception {
        
            //1.创建消息生产者producer，并制定生产者组名
            DefaultMQProducer producer = new DefaultMQProducer("group1");
            //2.指定Nameserver地址
            producer.setNamesrvAddr("192.168.25.135:9876;192.168.25.138:9876");
            //3.启动producer
            producer.start();
    
            for (int i = 0; i < 10; i++) {
        
                //4.创建消息对象，指定主题Topic、Tag和消息体
                /**
                 * 参数一：消息主题Topic
                 * 参数二：消息Tag
                 * 参数三：消息内容
                 */
                Message msg = new Message("base", "Tag2", ("Hello World" + i).getBytes());
                //5.发送异步消息
                producer.send(msg, new SendCallback() {
        
                    /**
                     * 发送成功回调函数
                     * @param sendResult
                     */
                    public void onSuccess(SendResult sendResult) {
        
                        System.out.println("发送结果：" + sendResult);
                    }
    
                    /**
                     * 发送失败回调函数
                     * @param e
                     */
                    public void onException(Throwable e) {
        
                        System.out.println("发送异常：" + e);
                    }
                });
    
                //线程睡1秒
                TimeUnit.SECONDS.sleep(1);
            }
    
            //6.关闭生产者producer
            producer.shutdown();
        }
    }

##### 3）单向发送消息 #####

这种方式主要用在不特别关心发送结果的场景，例如日志发送。

/**
     * 发送单向消息
     */
    public class OneWayProducer {
        
    
        public static void main(String[] args) throws Exception, MQBrokerException {
        
            //1.创建消息生产者producer，并制定生产者组名
            DefaultMQProducer producer = new DefaultMQProducer("group1");
            //2.指定Nameserver地址
            producer.setNamesrvAddr("192.168.25.135:9876;192.168.25.138:9876");
            //3.启动producer
            producer.start();
    
            for (int i = 0; i < 3; i++) {
        
                //4.创建消息对象，指定主题Topic、Tag和消息体
                /**
                 * 参数一：消息主题Topic
                 * 参数二：消息Tag
                 * 参数三：消息内容
                 */
                Message msg = new Message("base", "Tag3", ("Hello World，单向消息" + i).getBytes());
                //5.发送单向消息
                producer.sendOneway(msg);
    
                //线程睡1秒
                TimeUnit.SECONDS.sleep(5);
            }
    
            //6.关闭生产者producer
            producer.shutdown();
        }
    }

#### 4.1.2 消费消息 ####

##### 1）负载均衡模式 #####

消费者采用负载均衡方式消费消息，多个消费者共同消费队列消息，每个消费者处理的消息不同

public static void main(String[] args) throws Exception {
        
        // 实例化消息生产者,指定组名
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
        // 指定Namesrv地址信息.
        consumer.setNamesrvAddr("localhost:9876");
        // 订阅Topic
        consumer.subscribe("Test", "*");
        //负载均衡模式消费
        consumer.setMessageModel(MessageModel.CLUSTERING);
        // 注册回调函数，处理消息
        consumer.registerMessageListener(new MessageListenerConcurrently() {
        
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                                                            ConsumeConcurrentlyContext context) {
        
                System.out.printf("%s Receive New Messages: %s %n", 
                                  Thread.currentThread().getName(), msgs);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        //启动消息者
        consumer.start();
        System.out.printf("Consumer Started.%n");
    }

##### 2）广播模式 #####

消费者采用广播的方式消费消息，每个消费者消费的消息都是相同的

public static void main(String[] args) throws Exception {
        
        // 实例化消息生产者,指定组名
        DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("group1");
        // 指定Namesrv地址信息.
        consumer.setNamesrvAddr("localhost:9876");
        // 订阅Topic
        consumer.subscribe("Test", "*");
        //广播模式消费
        consumer.setMessageModel(MessageModel.BROADCASTING);
        // 注册回调函数，处理消息
        consumer.registerMessageListener(new MessageListenerConcurrently() {
        
            @Override
            public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs,
                                                            ConsumeConcurrentlyContext context) {
        
                System.out.printf("%s Receive New Messages: %s %n", 
                                  Thread.currentThread().getName(), msgs);
                return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
            }
        });
        //启动消息者
        consumer.start();
        System.out.printf("Consumer Started.%n");
    }

### 4.2 顺序消息 ###

消息有序指的是可以按照消息的发送顺序来消费(FIFO)。RocketMQ可以严格的保证消息有序，可以分为分区有序或者全局有序。

顺序消费的原理解析，在默认的情况下消息发送会采取Round Robin轮询方式把消息发送到不同的queue(分区队列)；而消费消息的时候从多个queue上拉取消息，这种情况发送和消费是不能保证顺序。但是如果控制发送的顺序消息只依次发送到同一个queue中，消费的时候只从这个queue上依次拉取，则就保证了顺序。当发送和消费参与的queue只有一个，则是全局有序；如果多个queue参与，则为分区有序，即相对每个queue，消息都是有序的。

下面用订单进行分区有序的示例。一个订单的顺序流程是：创建、付款、推送、完成。订单号相同的消息会被先后发送到同一个队列中，消费时，同一个OrderId获取到的肯定是同一个队列。

#### 4.2.1 顺序消息生产 ####

/**
    * Producer，发送顺序消息
    */
    public class Producer {
        
    
       public static void main(String[] args) throws Exception {
        
           DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
    
           producer.setNamesrvAddr("127.0.0.1:9876");
    
           producer.start();
    
           String[] tags = new String[]{
        "TagA", "TagC", "TagD"};
    
           // 订单列表
           List<OrderStep> orderList = new Producer().buildOrders();
    
           Date date = new Date();
           SimpleDateFormat sdf = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
           String dateStr = sdf.format(date);
           for (int i = 0; i < 10; i++) {
        
               // 加个时间前缀
               String body = dateStr + " Hello RocketMQ " + orderList.get(i);
               Message msg = new Message("TopicTest", tags[i % tags.length], "KEY" + i, body.getBytes());
    
               SendResult sendResult = producer.send(msg, new MessageQueueSelector() {
        
                   @Override
                   public MessageQueue select(List<MessageQueue> mqs, Message msg, Object arg) {
        
                       Long id = (Long) arg;  //根据订单id选择发送queue
                       long index = id % mqs.size();
                       return mqs.get((int) index);
                   }
               }, orderList.get(i).getOrderId());//订单id
    
               System.out.println(String.format("SendResult status:%s, queueId:%d, body:%s",
                   sendResult.getSendStatus(),
                   sendResult.getMessageQueue().getQueueId(),
                   body));
           }
    
           producer.shutdown();
       }
    
       /**
        * 订单的步骤
        */
       private static class OrderStep {
        
           private long orderId;
           private String desc;
    
           public long getOrderId() {
        
               return orderId;
           }
    
           public void setOrderId(long orderId) {
        
               this.orderId = orderId;
           }
    
           public String getDesc() {
        
               return desc;
           }
    
           public void setDesc(String desc) {
        
               this.desc = desc;
           }
    
           @Override
           public String toString() {
        
               return "OrderStep{" +
                   "orderId=" + orderId +
                   ", desc='" + desc + '\'' +
                   '}';
           }
       }
    
       /**
        * 生成模拟订单数据
        */
       private List<OrderStep> buildOrders() {
        
           List<OrderStep> orderList = new ArrayList<OrderStep>();
    
           OrderStep orderDemo = new OrderStep();
           orderDemo.setOrderId(15103111039L);
           orderDemo.setDesc("创建");
           orderList.add(orderDemo);
    
           orderDemo = new OrderStep();
           orderDemo.setOrderId(15103111065L);
           orderDemo.setDesc("创建");
           orderList.add(orderDemo);
    
           orderDemo = new OrderStep();
           orderDemo.setOrderId(15103111039L);
           orderDemo.setDesc("付款");
           orderList.add(orderDemo);
    
           orderDemo = new OrderStep();
           orderDemo.setOrderId(15103117235L);
           orderDemo.setDesc("创建");
           orderList.add(orderDemo);
    
           orderDemo = new OrderStep();
           orderDemo.setOrderId(15103111065L);
           orderDemo.setDesc("付款");
           orderList.add(orderDemo);
    
           orderDemo = new OrderStep();
           orderDemo.setOrderId(15103117235L);
           orderDemo.setDesc("付款");
           orderList.add(orderDemo);
    
           orderDemo = new OrderStep();
           orderDemo.setOrderId(15103111065L);
           orderDemo.setDesc("完成");
           orderList.add(orderDemo);
    
           orderDemo = new OrderStep();
           orderDemo.setOrderId(15103111039L);
           orderDemo.setDesc("推送");
           orderList.add(orderDemo);
    
           orderDemo = new OrderStep();
           orderDemo.setOrderId(15103117235L);
           orderDemo.setDesc("完成");
           orderList.add(orderDemo);
    
           orderDemo = new OrderStep();
           orderDemo.setOrderId(15103111039L);
           orderDemo.setDesc("完成");
           orderList.add(orderDemo);
    
           return orderList;
       }
    }

#### 4.2.2 顺序消费消息 ####

/**
    * 顺序消息消费，带事务方式（应用可控制Offset什么时候提交）
    */
    public class ConsumerInOrder {
        
    
       public static void main(String[] args) throws Exception {
        
           DefaultMQPushConsumer consumer = new 
               DefaultMQPushConsumer("please_rename_unique_group_name_3");
           consumer.setNamesrvAddr("127.0.0.1:9876");
           /**
            * 设置Consumer第一次启动是从队列头部开始消费还是队列尾部开始消费<br>
            * 如果非第一次启动，那么按照上次消费的位置继续消费
            */
           consumer.setConsumeFromWhere(ConsumeFromWhere.CONSUME_FROM_FIRST_OFFSET);
    
           consumer.subscribe("TopicTest", "TagA || TagC || TagD");
    
           consumer.registerMessageListener(new MessageListenerOrderly() {
        
    
               Random random = new Random();
    
               @Override
               public ConsumeOrderlyStatus consumeMessage(List<MessageExt> msgs, ConsumeOrderlyContext context) {
        
                   context.setAutoCommit(true);
                   for (MessageExt msg : msgs) {
        
                       // 可以看到每个queue有唯一的consume线程来消费, 订单对每个queue(分区)有序
                       System.out.println("consumeThread=" + Thread.currentThread().getName() + "queueId=" + msg.getQueueId() + ", content:" + new String(msg.getBody()));
                   }
    
                   try {
        
                       //模拟业务逻辑处理中...
                       TimeUnit.SECONDS.sleep(random.nextInt(10));
                   } catch (Exception e) {
        
                       e.printStackTrace();
                   }
                   return ConsumeOrderlyStatus.SUCCESS;
               }
           });
    
           consumer.start();
    
           System.out.println("Consumer Started.");
       }
    }

### 4.3 延时消息 ###

比如电商里，提交了一个订单就可以发送一个延时消息，1h后去检查这个订单的状态，如果还是未付款就取消订单释放库存。

#### 4.3.1 启动消息消费者 ####

public class ScheduledMessageConsumer {
        
       public static void main(String[] args) throws Exception {
        
          // 实例化消费者
          DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("ExampleConsumer");
          // 订阅Topics
          consumer.subscribe("TestTopic", "*");
          // 注册消息监听者
          consumer.registerMessageListener(new MessageListenerConcurrently() {
        
              @Override
              public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> messages, ConsumeConcurrentlyContext context) {
        
                  for (MessageExt message : messages) {
        
                      // Print approximate delay time period
                      System.out.println("Receive message[msgId=" + message.getMsgId() + "] " + (System.currentTimeMillis() - message.getStoreTimestamp()) + "ms later");
                  }
                  return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
              }
          });
          // 启动消费者
          consumer.start();
      }
    }

#### 4.3.2 发送延时消息 ####

public class ScheduledMessageProducer {
        
       public static void main(String[] args) throws Exception {
        
          // 实例化一个生产者来产生延时消息
          DefaultMQProducer producer = new DefaultMQProducer("ExampleProducerGroup");
          // 启动生产者
          producer.start();
          int totalMessagesToSend = 100;
          for (int i = 0; i < totalMessagesToSend; i++) {
        
              Message message = new Message("TestTopic", ("Hello scheduled message " + i).getBytes());
              // 设置延时等级3,这个消息将在10s之后发送(现在只支持固定的几个时间,详看delayTimeLevel)
              message.setDelayTimeLevel(3);
              // 发送消息
              producer.send(message);
          }
           // 关闭生产者
          producer.shutdown();
      }
    }

#### 4.3.3 验证 ####

您将会看到消息的消费比存储时间晚10秒

#### 4.3.4 使用限制 ####

// org/apache/rocketmq/store/config/MessageStoreConfig.java
    private String messageDelayLevel = "1s 5s 10s 30s 1m 2m 3m 4m 5m 6m 7m 8m 9m 10m 20m 30m 1h 2h";

现在RocketMq并不支持任意时间的延时，需要设置几个固定的延时等级，从1s到2h分别对应着等级1到18

### 4.4 批量消息 ###

批量发送消息能显著提高传递小消息的性能。限制是这些批量消息应该有相同的topic，相同的waitStoreMsgOK，而且不能是延时消息。此外，这一批消息的总大小不应超过4MB。

#### 4.4.1 发送批量消息 ####

如果您每次只发送不超过4MB的消息，则很容易使用批处理，样例如下：

String topic = "BatchTest";
    List<Message> messages = new ArrayList<>();
    messages.add(new Message(topic, "TagA", "OrderID001", "Hello world 0".getBytes()));
    messages.add(new Message(topic, "TagA", "OrderID002", "Hello world 1".getBytes()));
    messages.add(new Message(topic, "TagA", "OrderID003", "Hello world 2".getBytes()));
    try {
        
       producer.send(messages);
    } catch (Exception e) {
        
       e.printStackTrace();
       //处理error
    }

如果消息的总长度可能大于4MB时，这时候最好把消息进行分割

public class ListSplitter implements Iterator<List<Message>> {
        
       private final int SIZE_LIMIT = 1024 * 1024 * 4;
       private final List<Message> messages;
       private int currIndex;
       public ListSplitter(List<Message> messages) {
        
               this.messages = messages;
       }
        @Override 
        public boolean hasNext() {
        
           return currIndex < messages.size();
       }
       	@Override 
        public List<Message> next() {
        
           int nextIndex = currIndex;
           int totalSize = 0;
           for (; nextIndex < messages.size(); nextIndex++) {
        
               Message message = messages.get(nextIndex);
               int tmpSize = message.getTopic().length() + message.getBody().length;
               Map<String, String> properties = message.getProperties();
               for (Map.Entry<String, String> entry : properties.entrySet()) {
        
                   tmpSize += entry.getKey().length() + entry.getValue().length();
               }
               tmpSize = tmpSize + 20; // 增加日志的开销20字节
               if (tmpSize > SIZE_LIMIT) {
        
                   //单个消息超过了最大的限制
                   //忽略,否则会阻塞分裂的进程
                   if (nextIndex - currIndex == 0) {
        
                      //假如下一个子列表没有元素,则添加这个子列表然后退出循环,否则只是退出循环
                      nextIndex++;
                   }
                   break;
               }
               if (tmpSize + totalSize > SIZE_LIMIT) {
        
                   break;
               } else {
        
                   totalSize += tmpSize;
               }
    
           }
           List<Message> subList = messages.subList(currIndex, nextIndex);
           currIndex = nextIndex;
           return subList;
       }
    }
    //把大的消息分裂成若干个小的消息
    ListSplitter splitter = new ListSplitter(messages);
    while (splitter.hasNext()) {
        
      try {
        
          List<Message>  listItem = splitter.next();
          producer.send(listItem);
      } catch (Exception e) {
        
          e.printStackTrace();
          //处理error
      }
    }

### 4.5 过滤消息 ###

在大多数情况下，TAG是一个简单而有用的设计，其可以来选择您想要的消息。例如：

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("CID_EXAMPLE");
    consumer.subscribe("TOPIC", "TAGA || TAGB || TAGC");

消费者将接收包含TAGA或TAGB或TAGC的消息。但是限制是一个消息只能有一个标签，这对于复杂的场景可能不起作用。在这种情况下，可以使用SQL表达式筛选消息。SQL特性可以通过发送消息时的属性来进行计算。在RocketMQ定义的语法下，可以实现一些简单的逻辑。下面是一个例子：

------------
    | message  |
    |----------|  a > 5 AND b = 'abc'
    | a = 10   |  --------------------> Gotten
    | b = 'abc'|
    | c = true |
    ------------
    ------------
    | message  |
    |----------|   a > 5 AND b = 'abc'
    | a = 1    |  --------------------> Missed
    | b = 'abc'|
    | c = true |
    ------------

#### 4.5.1 SQL基本语法 ####

RocketMQ只定义了一些基本语法来支持这个特性。你也可以很容易地扩展它。

*  数值比较，比如：**>，>=，<，<=，BETWEEN，=；**
 *  字符比较，比如：**=，<>，IN；**
 *  **IS NULL** 或者 **IS NOT NULL；**
 *  逻辑符号 **AND，OR，NOT；**

常量支持类型为：

*  数值，比如：**123，3.1415；**
 *  字符，比如：**‘abc’，必须用单引号包裹起来；**
 *  **NULL**，特殊的常量
 *  布尔值，**TRUE** 或 **FALSE**

只有使用push模式的消费者才能用使用SQL92标准的sql语句，接口如下：

public void subscribe(finalString topic, final MessageSelector messageSelector)

#### 4.5.2 消息生产者 ####

发送消息时，你能通过`putUserProperty`来设置消息的属性

DefaultMQProducer producer = new DefaultMQProducer("please_rename_unique_group_name");
    producer.start();
    Message msg = new Message("TopicTest",
       tag,
       ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET)
    );
    // 设置一些属性
    msg.putUserProperty("a", String.valueOf(i));
    SendResult sendResult = producer.send(msg);
    
    producer.shutdown();

#### 4.5.3 消息消费者 ####

用MessageSelector.bySql来使用sql筛选消息

DefaultMQPushConsumer consumer = new DefaultMQPushConsumer("please_rename_unique_group_name_4");
    // 只有订阅的消息有这个属性a, a >=0 and a <= 3
    consumer.subscribe("TopicTest", MessageSelector.bySql("a between 0 and 3");
    consumer.registerMessageListener(new MessageListenerConcurrently() {
        
       @Override
       public ConsumeConcurrentlyStatus consumeMessage(List<MessageExt> msgs, ConsumeConcurrentlyContext context) {
        
           return ConsumeConcurrentlyStatus.CONSUME_SUCCESS;
       }
    });
    consumer.start();

### 4.6 事务消息 ###

#### 4.6.1 流程分析 ####

![在这里插入图片描述][90b84197d2354453872a8805322bd92c.png]  
上图说明了事务消息的大致方案，其中分为两个流程：正常事务消息的发送及提交、事务消息的补偿流程。

##### 1）事务消息发送及提交 #####

(1) 发送消息（half消息）。

(2) 服务端响应消息写入结果。

(3) 根据发送结果执行本地事务（如果写入失败，此时half消息对业务不可见，本地逻辑不执行）。

(4) 根据本地事务状态执行Commit或者Rollback（Commit操作生成消息索引，消息对消费者可见）

##### 2）事务补偿 #####

(1) 对没有Commit/Rollback的事务消息（pending状态的消息），从服务端发起一次“回查”

(2) Producer收到回查消息，检查回查消息对应的本地事务的状态

(3) 根据本地事务状态，重新Commit或者Rollback

其中，补偿阶段用于解决消息Commit或者Rollback发生超时或者失败的情况。

##### 3）事务消息状态 #####

事务消息共有三种状态，提交状态、回滚状态、中间状态：

*  TransactionStatus.CommitTransaction: 提交事务，它允许消费者消费此消息。
 *  TransactionStatus.RollbackTransaction: 回滚事务，它代表该消息将被删除，不允许被消费。
 *  TransactionStatus.Unknown: 中间状态，它代表需要检查消息队列来确定状态。

\#\#\#4.6.1 发送事务消息

##### 1) 创建事务性生产者 #####

使用 `TransactionMQProducer`类创建生产者，并指定唯一的 `ProducerGroup`，就可以设置自定义线程池来处理这些检查请求。执行本地事务后、需要根据执行结果对消息队列进行回复。回传的事务状态在请参考前一节。

public class Producer {
        
        public static void main(String[] args) throws MQClientException, InterruptedException {
        
            //创建事务监听器
            TransactionListener transactionListener = new TransactionListenerImpl();
            //创建消息生产者
            TransactionMQProducer producer = new TransactionMQProducer("group6");
            producer.setNamesrvAddr("192.168.25.135:9876;192.168.25.138:9876");
            //生产者这是监听器
            producer.setTransactionListener(transactionListener);
            //启动消息生产者
            producer.start();
            String[] tags = new String[]{
        "TagA", "TagB", "TagC"};
            for (int i = 0; i < 3; i++) {
        
                try {
        
                    Message msg = new Message("TransactionTopic", tags[i % tags.length], "KEY" + i,
                            ("Hello RocketMQ " + i).getBytes(RemotingHelper.DEFAULT_CHARSET));
                    SendResult sendResult = producer.sendMessageInTransaction(msg, null);
                    System.out.printf("%s%n", sendResult);
                    TimeUnit.SECONDS.sleep(1);
                } catch (MQClientException | UnsupportedEncodingException e) {
        
                    e.printStackTrace();
                }
            }
            //producer.shutdown();
        }
    }

##### 2）实现事务的监听接口 #####

当发送半消息成功时，我们使用 `executeLocalTransaction` 方法来执行本地事务。它返回前一节中提到的三个事务状态之一。`checkLocalTranscation` 方法用于检查本地事务状态，并回应消息队列的检查请求。它也是返回前一节中提到的三个事务状态之一。

public class TransactionListenerImpl implements TransactionListener {
        
    
        @Override
        public LocalTransactionState executeLocalTransaction(Message msg, Object arg) {
        
            System.out.println("执行本地事务");
            if (StringUtils.equals("TagA", msg.getTags())) {
        
                return LocalTransactionState.COMMIT_MESSAGE;
            } else if (StringUtils.equals("TagB", msg.getTags())) {
        
                return LocalTransactionState.ROLLBACK_MESSAGE;
            } else {
        
                return LocalTransactionState.UNKNOW;
            }
    
        }
    
        @Override
        public LocalTransactionState checkLocalTransaction(MessageExt msg) {
        
            System.out.println("MQ检查消息Tag【"+msg.getTags()+"】的本地事务执行结果");
            return LocalTransactionState.COMMIT_MESSAGE;
        }
    }

#### 4.6.2 使用限制 ####

1.  事务消息不支持延时消息和批量消息。
2.  为了避免单个消息被检查太多次而导致半队列消息累积，我们默认将单个消息的检查次数限制为 15 次，但是用户可以通过 Broker 配置文件的 `transactionCheckMax`参数来修改此限制。如果已经检查某条消息超过 N 次的话（ N = `transactionCheckMax` ） 则 Broker 将丢弃此消息，并在默认情况下同时打印错误日志。用户可以通过重写 `AbstractTransactionCheckListener` 类来修改这个行为。
3.  事务消息将在 Broker 配置文件中的参数 transactionMsgTimeout 这样的特定时间长度之后被检查。当发送事务消息时，用户还可以通过设置用户属性 CHECK\_IMMUNITY\_TIME\_IN\_SECONDS 来改变这个限制，该参数优先于 `transactionMsgTimeout` 参数。
4.  事务性消息可能不止一次被检查或消费。
5.  提交给用户的目标主题消息可能会失败，目前这依日志的记录而定。它的高可用性通过 RocketMQ 本身的高可用性机制来保证，如果希望确保事务消息不丢失、并且事务完整性得到保证，建议使用同步的双重写入机制。
6.  事务消息的生产者 ID 不能与其他类型消息的生产者 ID 共享。与其他类型的消息不同，事务消息允许反向查询、MQ服务器能通过它们的生产者 ID 查询到消费者。

[11fd68ebd3f746d7b7c49fecb09331f4.png]: https://img-blog.csdnimg.cn/11fd68ebd3f746d7b7c49fecb09331f4.png
[647290df7f7547959473bfc527af87f5.png]: https://img-blog.csdnimg.cn/647290df7f7547959473bfc527af87f5.png
[ae65270074f14b77b54b52334c3aa6dc.png]: https://img-blog.csdnimg.cn/ae65270074f14b77b54b52334c3aa6dc.png
[df8561e97a5a400991f26972cd82d36f.png]: https://img-blog.csdnimg.cn/df8561e97a5a400991f26972cd82d36f.png
[1cc8268ac94f4a1e942e7c4dad2fd245.png]: https://img-blog.csdnimg.cn/1cc8268ac94f4a1e942e7c4dad2fd245.png
[13b8d58d8f0a474d961b936a6f20342a.png]: https://img-blog.csdnimg.cn/13b8d58d8f0a474d961b936a6f20342a.png
[06cb6f46d8834d55b1029bd37448023a.png]: https://img-blog.csdnimg.cn/06cb6f46d8834d55b1029bd37448023a.png
[78045676070d404aba46e82c0b570bfc.png]: https://img-blog.csdnimg.cn/78045676070d404aba46e82c0b570bfc.png
[Link 1]: https://www.apache.org/dyn/closer.cgi?path=rocketmq/4.5.1/rocketmq-all-4.5.1-bin-release.zip
[ecfeeca648564ce9a29ed30c45d251ff.png]: https://img-blog.csdnimg.cn/ecfeeca648564ce9a29ed30c45d251ff.png
[7670363a8a674bc0917f8b6b0d9faf71.png]: https://img-blog.csdnimg.cn/7670363a8a674bc0917f8b6b0d9faf71.png
[687f5323bc2544948463a8a3c4e24038.png]: https://img-blog.csdnimg.cn/687f5323bc2544948463a8a3c4e24038.png
[incubator-rocketmq-externals]: https://github.com/apache/rocketmq-externals
[6082908e3ffd4083b820495a1dcdbb62.png]: https://img-blog.csdnimg.cn/6082908e3ffd4083b820495a1dcdbb62.png
[91708215921c44a7a718a582771d3fee.png]: https://img-blog.csdnimg.cn/91708215921c44a7a718a582771d3fee.png
[bb057bdac57a4870ad6e5f4f4794ab9f.png]: https://img-blog.csdnimg.cn/bb057bdac57a4870ad6e5f4f4794ab9f.png
[90b84197d2354453872a8805322bd92c.png]: https://img-blog.csdnimg.cn/90b84197d2354453872a8805322bd92c.png