RabbitMQ学习之集群模式

柔光的暖阳◎ 2023-03-06 05:23 13阅读 0赞

由于RabbitMQ是用erlang开发的，RabbitMQ完全依赖Erlang的Cluster，因为erlang天生就是一门分布式语言,集群非常方便，但其本身并不支持负载均衡。Erlang的集群中各节点是经由过程一个magic cookie来实现的，这个cookie存放在 $home/.erlang.cookie 中(像我的root用户安装的就是放在我的root/.erlang.cookie中)，文件是400的权限。所以必须包管各节点cookie对峙一致，不然节点之间就无法通信。

RabbitMQ的集群节点包括内存节点、磁盘节点。顾名思义内存节点就是将所有数据放在内存，磁盘节点将数据放在磁盘。不过，如果在投递消息时，打开了消息的持久化，那么即使是内存节点，数据还是安全的放在磁盘。

Rabbitmq集群大概分为二种方式：

（1）普通模式：默认的集群模式。

（2）镜像模式：把需要的队列做成镜像队列。

一个rabbitmq集 群中可以共享 user，vhost，queue，exchange等，所有的数据和状态都是必须在所有节点上复制的，一个例外是，那些当前只属于创建它的节点的消息队列，尽管它们可见且可被所有节点读取。rabbitmq节点可以动态的加入到集群中，一个节点它可以加入到集群中，也可以从集群环境中移除。  
   集群中有两种节点：  
1 内存节点：只保存状态到内存（一个例外的情况是：持久的queue的持久内容将被保存到disk）  
2 磁盘节点：保存状态到内存和磁盘。  
内存节点虽然不写入磁盘，但是它执行比磁盘节点要好。集群中，只需要一个磁盘节点来保存状态 就足够了如果集群中只有内存节点，那么不能停止它们，否则所有的状态，消息等都会丢失。

良好的设计架构可以如下：在一个集群里，有3台以上机器，其中1台使用磁盘模式，其它使用内存模式。其它几台为内存模式的节点，无疑速度更快，因此客户端（consumer、producer）连接访问它们。而磁盘模式的节点，由于磁盘IO相对较慢，因此仅作数据备份使用。

**一、普通模式：**默认的集群模式

默认的集群模式，queue创建之后，如果没有其它policy，则queue就会按照普通模式集群。对于Queue来说，消息实体只存在于其中一个节点，A、B两个节点仅有相同的元数据，即队列结构，但队列的元数据仅保存有一份，即创建该队列的rabbitmq节点（A节点），当A节点宕机，你可以去其B节点查看，./rabbitmqctl list\_queues 发现该队列已经丢失，但声明的exchange还存在。当消息进入A节点的Queue中后，consumer从B节点拉取时，RabbitMQ会临时在A、B间进行消息传输，把A中的消息实体取出并经过B发送给consumer，所以consumer应平均连接每一个节点，从中取消息。该模式存在一个问题就是当A节点故障后，B节点无法取到A节点中还未消费的消息实体。如果做了队列持久化或消息持久化，那么得等A节点恢复，然后才可被消费，并且在A节点恢复之前其它节点不能再创建A节点已经创建过的持久队列；如果没有持久化的话，消息就会失丢。这种模式更适合非持久化队列，只有该队列是非持久的，客户端才能重新连接到集群里的其他节点，并重新创建队列。假如该队列是持久化的，那么唯一办法是将故障节点恢复起来。  
为什么RabbitMQ不将队列复制到集群里每个节点呢？这与它的集群的设计本意相冲突，集群的设计目的就是增加更多节点时，能线性的增加性能（CPU、内存）和容量（内存、磁盘）。理由如下

1。存储空间:如果每个集群节点每个队列的一个完整副本,增加节点需要更多的存储容量。例如,如果一个节点可以存储1 gb的消息,添加两个节点需要两份相同的1 gb的消息  
2。性能:发布消息需要将这些信息复制到每个集群节点。对持久消息,要求为每条消息触发磁盘活动在所有节点上。每次添加一个节点都会带来 网络和磁盘的负载。

当然RabbitMQ新版本集群也支持队列复制（有个选项可以配置）。比如在有五个节点的集群里，可以指定某个队列的内容在2个节点上进行存储，从而在性能与高可用性之间取得一个平衡（应该就是指镜像模式）。

**二、镜像模式**：把需要的队列做成镜像队列，存在于多个节点，[属于RabbitMQ的HA方案][RabbitMQ_HA]（镜像模式是在普通模式的基础上，增加一些镜像策略）

该模式解决了上述问题，其实质和普通模式不同之处在于，消息实体会主动在镜像节点间同步，而不是在consumer取数据时临时拉取。该模式带来的副作用也很明显，除了降低系统性能外，如果镜像队列数量过多，加之大量的消息进入，集群内部的网络带宽将会被这种同步通讯大大消耗掉。所以在对可靠性要求较高的场合中适用，一个队列想做成镜像队列，需要先设置policy，然后客户端创建队列的时候，rabbitmq集群根据“队列名称”自动设置是普通集群模式或镜像队列。具体如下：  
队列通过策略来使能镜像。策略能在任何时刻改变，rabbitmq队列也近可能的将队列随着策略变化而变化；非镜像队列和镜像队列之间是有区别的，前者缺乏额外的镜像基础设施，没有任何slave，因此会运行得更快。为了使队列称为镜像队列，你将会创建一个策略来匹配队列，设置策略有两个键“ha-mode和 ha-params（可选）”。ha-params根据ha-mode设置不同的值，下面表格说明这些key的选项：

![Center][]

语法讲解：

在cluster中任意节点启用策略，策略会自动同步到集群节点   
rabbitmqctl set\_policy -p hrsystem ha-allqueue"^" '\{"ha-mode":"all"\}'  
这行命令在vhost名称为hrsystem创建了一个策略，策略名称为ha-allqueue,策略模式为 all 即复制到所有节点，包含新增节点，策略正则表达式为 “^” 表示所有匹配所有队列名称。  
例如rabbitmqctl set\_policy -p hrsystem ha-allqueue "^message" '\{"ha-mode":"all"\}'  
注意："^message" 这个规则要根据自己修改，这个是指同步"message"开头的队列名称，我们配置时使用的应用于所有队列，所以表达式为"^"  
官方set\_policy说明参见  
set\_policy \[-p vhostpath\] \{name\} \{pattern\} \{definition\} \[priority\]  
（http://www.rabbitmq.com/man/rabbitmqctl.1.man.html）

1、“nodes”策略和迁移master

需要注意的是设置和修改一个“nodes”策略将不会引起已经存在的master离开，尽管你让其离开。比如：如果一个队列在\{A\}，并且你给它一个节点策略告知它在\{B C\}，它将会在\{A B C\}。如果节点A那时失败或者停机了，那个节点上的镜像将不回来且队列将继续保持在\{B C\}（注：当队列已经是镜像队列且同步到其它节点，就算原节点宕机，也不影响其它节点对此队列使用）。

2、创建策略例子

队列名称以“ha.”开头的队列都是镜像队列，镜像到集群内所有节点：

![Center 1][]

列名称以“two.”开头的队列，其策略镜像到集群内任何两个节点：

![Center 2][]

队列同步到指rabbitmq 节点  ，rabbitmqctl：

./rabbitmqctl set\_policy sa-specify "^sa\\.specify\\." '\{"ha-mode":"nodes","ha-params":\["rabbit@is137","rabbit@raxtone"\]\}'

切记，需要把队列同步到的节点都写进去。

参考：  
1.[Rabbitmq集群高可用测试][Rabbitmq]

2.[RabbitMQ官网文档翻译 -- Highly Available Queues][RabbitMQ_ -- Highly Available Queues]

3.[RabbitMQ高可用队列的实现][RabbitMQ]

[RabbitMQ_HA]: http://www.rabbitmq.com/ha.html
[Center]: /images/20230208/991c866b831740ec98ba414525273f43.png
[Center 1]: /images/20230208/1b57b7fabb334ac9a3308221a7ebd1fe.png
[Center 2]: /images/20230208/706c5c17f47a4d05a847babca0c1dfd5.png
[Rabbitmq]: http://www.cnblogs.com/flat_peach/archive/2013/04/07/3004008.html
[RabbitMQ_ -- Highly Available Queues]: https://my.oschina.net/moooofly/blog/94113
[RabbitMQ]: https://my.oschina.net/hackandhike/blog/800334