RabbitMQ学习之Flow Control

╰+攻爆jí腚メ 2022-06-17 05:08 210阅读 0赞

当RabbitMQ发布消息速度快于消费速度或者系统资源不足时，RabbitMQ将降低或阻断发布消息速度，以免服务器资源饱满而宕机，可以通过rabbitmqctl和web管理页面查看连接的状态为flow，当服务器资源不足时，连接会被blocked。连接被流控后和正常使用没有什么区别，体现可网络带宽不足情况一样。这个流控不需要配置RabbitMQ默认处理流控。

流控主要有一下几个情况：

##### 1.内存控制 #####

RabbitMQ服务器在启动时会计算系统内存总大小。然后会根据vm\_memory\_high\_watermark参数指定的百分比，进行控制.可通过命令 rabbitmqctl set\_vm\_memory\_high\_watermark fraction 动态设置。默认下，vm\_memory\_high\_watermark的值为0.4,当RabbitMQ使用的内存超过40%时，系统会阻塞所有连接。一旦警报解除（消息被消费者取走，或者消息被写到硬盘中）,系统重新恢复工作。32位系统的单进程内存使用最大为2G,即使系统有10G,那么内存警报线为2G\*40%.

在日志中可以找到内存限制的相关信息
        例如 ：/var/log/rabbitmq/
        =INFO REPORT==== 28-Apr-2015::14:11:16 ===
        Memory limit set to 3804MB of 7609MB total.

当vm\_memory\_high\_watermark为0时，不再有内存警报。并且所有的消息发布都将停止。这个方法可用来，如果要禁止消息发布的情况。

##### 2.硬盘控制 #####

当RabbitMQ的磁盘空闲空间小于50M（默认），生产者将被BLOCK，并且阻塞信息发布前，会尝试把内存中的信息输出到磁盘上。持久化信息和非持久化信息都将被写到磁盘（持 久化信息一进入队列就会被写到磁盘）。如果采用集群模式，磁盘节点空闲空间小于50M将导致其他节点的生产者都被block。可以通过disk\_free\_limit来对进行配置。  
如果磁盘的预设值为50%，内存预设值默认是0.4，那么就是当内存使用量达到20%时，队列信息会被写到磁盘上。  
可以通过设置 vm\_memory\_high\_watermark\_paging\_ratio （默认值为0.5）来改变写入磁盘的策略，例如：

[{rabbit, [{vm_memory_high_watermark_paging_ratio, 0.75},          {vm_memory_high_watermark, 0.4}]}].

上面的配置将会在内存全用30%时将队列信息写入到磁盘，阻塞信息发布是在内存使用40%时发生。建议vm\_memory\_high\_watermark 不超过50%.

##### 3.消息积压 #####

在RabbitMQ中，消息可能被存储在多个不同的队列，消息越早被消费，那么消息经过的队列层次越少，则平均每个消息处理的开销就越小。但若发布消息的速率过快，MQ来不及处理，这些消息就可能进入很深层次的队列，大大增加平均每个消息的处理开销，进一步使得处理新消息和发送旧消息的能力减弱，更多的消息会进入很深的队列，循环往复，整个系统的性能就会极大的降低。另外若接收消息的速率过快还会实现某些进程的mailbox过大，可能会产生很严重的后果。为此，RabbitMQ设计了一套流控机制。  
RabbitMQ 使用了一种基于 credit 的算法来 限制 message 被 publish 的速率 。Publisher 只有在其从某个 queue 的 全部镜像处收到 credit 之后才被允许继续 publish 。在这个上下文中，Credit 意味着对 publish 行为的允许。如果存在没能成功发送出 credit 的 slaves ，则将导致 publisher 停止 publish 动作。Publisher 会一直保持停止的状态，直到所有 slave 都成功发送了 credit 或者直到剩余的 node 都认为某 slave 已经从 cluster 中断开了。Erlang 会周期性地发送 tick 到所有的 node 上来检测是否出现连接断开。 tick 的间隔时间可以通过配置 net\_ticktime 的值来控制。

> 参考文章:  
> 1.[Memory and Disk Alarms][]  
> 2.[Blocked Connection Notifications][]  
> 3.***[RabbitMQ进程结构分析与性能调优][RabbitMQ]***  
> 4.[通过流控机制分析rabbitmq性能（持久化）瓶颈][rabbitmq]  
> 5.[RabbitMQ中对Erlang进程的授信机制][RabbitMQ_Erlang]  
> 6.[消息队列RabbitMQ和ActiveMQ的生产者流量控制][RabbitMQ_ActiveMQ]

[Memory and Disk Alarms]: http://www.rabbitmq.com/alarms.html
[Blocked Connection Notifications]: http://www.rabbitmq.com/connection-blocked.html
[RabbitMQ]: http://mt.sohu.com/20161103/n472164270.shtml
[rabbitmq]: http://ybbct.iteye.com/blog/1562326
[RabbitMQ_Erlang]: http://blog.sina.com.cn/s/blog_6b180eaa0102v3vw.html
[RabbitMQ_ActiveMQ]: http://blog.csdn.net/njchenyi/article/details/9423653