rocketmq源码阅读笔记(1)-使用介绍

谁践踏了优雅 2023-01-18 02:28 122阅读 0赞

### 文章目录 ###

*  为何mq（消息缓存队列）
 *  分布式事务的一致性保证场景
 *  MQ与DB一致性原理（两方事务）
 *  集群搭建
 *  安装
 *  代码
 *  缺陷记录
 *  参考文章

# 为何mq（消息缓存队列） #

1.  应用解耦  
    使用rpc进行系统通信：用户创建订单后，如果耦合调用库存系统、物流系统、支付系统，任何一个子系统出了故障或者因为升级等原因暂时不可用，都会造成下单操作异常，影响用户使用体验。  
    引入rocketmq后：比如物流系统发生故障，需要几分钟才能来修复，在这段时间内，物流系统要处理的数据被缓存到消息队列中，用户的下单操作正常完成。当物流系统回复后，补充处理存在消息队列中的订单消息即可，终端系统感知不到物流系统发生过几分钟故障。
2.  流量削峰  
    例如系统峰值是1000，但中午一小段时间陡增到1万请求，这时候削峰就好了。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70]
3.  数据分发  
    传统rpc方式：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 1]  
    引入rocketmq  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 2]

优点：解耦、削峰、数据分发

缺点包含以下几点：

*  系统可用性降低  
    系统引入的外部依赖越多，系统稳定性越差。一旦MQ宕机，就会对业务造成影响。  
    **如何保证MQ的高可用？**
 *  系统复杂度提高  
    MQ的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过MQ进行异步调用。  
    **如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？**
 *  一致性问题  
    A系统处理完业务，通过MQ给B、C、D三个系统发消息数据，如果B系统、C系统处理成功，D系统处理失败。  
    **如何保证消息数据处理的一致性？**

# 分布式事务的一致性保证场景 #

[订单生成、库存扣减与支付逻辑][Link 1]

> 5件商品，10人下单

1.  下单减库存：  
    前5个人下单了，但就是不付款，后5个人想立马支付的人却没法买（因为库存不够了）
2.  付款减库存  
    10人同时下单了，先付款5个人购买正常，后付款的5个人就会报库存不足（超卖）
3.  预扣库存  
    先下单的5个人会锁库存（锁2小时），此时页面库存显示为0（后5人现在不能下单），超过2小时用户还没有支付，则取消订单，释放库存 ![在这里插入图片描述][20210430203829248.png]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 3]

# MQ与DB一致性原理（两方事务） #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 4]

# 集群搭建 #

![在这里插入图片描述][20210504080936118.png]  
messge queue是topic的一个子集  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 5]

> nameServer相当于注册中心（保存broker（保存消息）的ip和可用状态等）  
> 无论消费者还是生产者都是先访问nameServer，拿到broker的ip缓存到本地，然后再直接访问broker

结合部署结构图，描述集群工作流程【[原文链接][Link 2]】：  
1，启动Namesrv，Namesrv起来后监听端口，等待Broker、Produer、Consumer连上来，相当于一个路由控制中心。  
2，Broker启动，跟所有的Namesrv保持长连接，定时发送心跳包。心跳包中包含当前Broker信息(IP+端口等)以及存储所有topic信息。注册成功后，namesrv集群中就有Topic跟Broker的映射关系。  
3，收发消息前，先创建topic，创建topic时需要指定该topic要存储在哪些Broker上。也可以在发送消息时自动创建Topic。  
4，Producer发送消息，启动时先跟Namesrv集群中的其中一台建立长连接，并从Namesrv中获取当前发送的Topic存在哪些Broker上，然后跟对应的Broker建立长连接，直接向Broker发消息。  
5，Consumer跟Producer类似。跟其中一台Namesrv建立长连接，获取当前订阅Topic存在哪些Broker上，然后直接跟Broker建立连接通道，开始消费消息。

无状态就是指不需要进行集群中各个节点数据的同步  
broker master 是写操作（id为0标识），borker slave（id为1标识）是读操作的，  
![在这里插入图片描述][20210504083059401.png]

集群搭建的优缺点  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 6]

同步复制：producter发消息给broker master，broker master等待所有的slave都同步完数据后再响应producter的请求【消息安全性保证比较高的情况下会用到】  
异步复制：producter发消息给broker master，broker master立即响应producter的请求，同时异步的进行所有的slave的数据同步【效率高】

采取多master多slave方式（同步）进行集群搭建  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 7]

topic其实就是消息类别，并且还需要指定消息在哪个broker上，

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 8]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 9]  
mvn clean package -Dmaven.test.skip=true

> http://192.168.177.200:8080/\#/

# 安装 #

yum安装maven教程

yum install -y wget  
配置maven源  
wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo  
yum -y install apache-maven

启动rocketmq教程  
http://rocketmq.apache.org/docs/quick-start/

tail -f 实时动态查询日志

/opt/rocketmq/rocketmq-all-4.8.0-source-release/distribution/target/rocketmq-4.8.0/rocketmq-4.8.0/bin

否则内存所需太大容易启动失败,修改jvm大小  
![在这里插入图片描述][2021050321291554.png]  
进入：  
/opt/rocketmq/rocketmq-all-4.8.0-source-release/distribution/target/rocketmq-4.8.0/rocketmq-4.8.0

nohup sh bin/mqnamesrv -n 192.168.177.200:9876 &

> tail -f ~/logs/rocketmqlogs/namesrv.log

在conf/broker.conf 中 加入 brokerIP1=你的公网IP  
启动  
nohup sh bin/mqbroker -n 192.168.177.200:9876 -c conf/broker.conf autoCreateTopicEnable=true &

> tail -f ~/logs/rocketmqlogs/broker.log

【接发消息】

> export NAMESRV\_ADDR=192.168.177.200:9876  
> sh bin/tools.sh org.apache.rocketmq.example.quickstart.Producer  
> export NAMESRV\_ADDR=192.168.177.200:9876  
> sh bin/tools.sh org.apache.rocketmq.example.quickstart.Consumer

测试之后可以看到消息如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 10]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 11]

使用jps可查看到以启动  
![在这里插入图片描述][20210503213831342.png]  
关闭  
sh bin/mqshutdown namesrv  
sh bin/mqshutdown broker

# 代码 #

messge分为如下几部分：  
topic（大类别，比如短信消息），tag（小类别，比如短信消息之验证码消息），消息内容（验证码为123）

可靠消息—同步方式发送  
高响应消息–异步方式发送  
日志消息—单向发送（不需要返回结果）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 12]

顺序消息的实现  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 13]  
![在这里插入图片描述][20210504212814843.png]  
一个队列只采用一个线程去消费

# 缺陷记录 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 14]

# 参考文章 #

[学习视频][Link 3]

[Rocketmq原理&最佳实践][Rocketmq]  
代码仓库：  
https://github.com/apache/rocketmq  
阿里云消息队列产品介绍  
https://help.aliyun.com/document\_detail/29532.html  
快速部署教程  
http://rocketmq.apache.org/docs/quick-start/  
中文官方文档  
https://github.com/apache/rocketmq/tree/master/docs/cn  
b站视频教程：  
https://www.bilibili.com/video/BV1fE411V7Ho?from=search&seid=7550936944502702700

双11，如何抗住千万级tps  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 15]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 16]  
如同万能变压器，不论输入电压多高，输出电压都很平稳【流量削峰】  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 17]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 18]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 19]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70]: /images/20221021/5ba5993b578a45ce90599d848e4273da.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 1]: /images/20221021/7d6e45e52fc34835b65fa4329de20c94.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 2]: /images/20221021/b72a3eb19f1d4fd7805dd5b618d68f07.png
[Link 1]: https://blog.csdn.net/shanchahua123456/article/details/86709622
[20210430203829248.png]: /images/20221021/6b884c02f3e04ae7b40f7030af02a4f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 3]: /images/20221021/e717c533afb04c21aa3b5929c93d6a2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 4]: /images/20221021/46c57fcb858546b6a0e7b4b4935ccc47.png
[20210504080936118.png]: /images/20221021/f1f67692e49d48269b4fcb1c5e116df2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 5]: /images/20221021/27afe4406b00481cb7d96c87b5f88e5b.png
[Link 2]: https://blog.csdn.net/javahongxi/article/details/72956608
[20210504083059401.png]: /images/20221021/ce72671e73a44bc7bc44f3591f1f7c92.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 6]: /images/20221021/9d45a656af404f55908e6e8360fec5d8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 7]: /images/20221021/fd321714995f4c0b8f80356b40d4f1df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 8]: /images/20221021/56e626f5368d4bcaa600051d5f7e79eb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 9]: /images/20221021/c51c6cc4053a44e1af7abc4f8b0a5be3.png
[2021050321291554.png]: /images/20221021/d52ec7028fa144c8ad1e0eba916e423a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 10]: /images/20221021/e980488a6e4d4cdf9e4f92ab3c9ffa82.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 11]: /images/20221021/f430a3555dca4801b3a524efd9794872.png
[20210503213831342.png]: /images/20221021/5cb52f9903af41fb8b6e10a55f28a2ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 12]: /images/20221021/1d012058b2fa458e9b8a89d71a222413.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 13]: /images/20221021/5a02075cc5a74efe9364ebf07de9267f.png
[20210504212814843.png]: /images/20221021/e191a0daed504b32b1b34471097ca54b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 14]: /images/20221021/8979610bf32e46de8abe4c5e3c15d20a.png
[Link 3]: https://www.bilibili.com/video/BV1RE411r75d?p=25&spm_id_from=pageDriver
[Rocketmq]: https://www.jianshu.com/p/2838890f3284
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 15]: /images/20221021/6497d9a54b8b4c51ae2f16599b0d3698.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 16]: /images/20221021/c1b5aa73e8f846e997c73a11f1bce738.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 17]: /images/20221021/ac3bb78fd5ed44b4aaa2ab3534750ba5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 18]: /images/20221021/9c33d167013b46e695cc806b994dd0e9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDYzMTQx_size_16_color_FFFFFF_t_70 19]: /images/20221021/0fb2d57213fc44cb8453a627e683356e.png