第五章、RabbitMQ管理、集群笔记

Dear 丶 2023-06-20 06:34 22阅读 0赞

# **一、管理RabbitMQ** #

### **1、日志一般存放位置**  ###

**Linux****上：**

/var/log/rabbitmq/rabbit@XXX.log

/var/log/rabbitmq/rabbit@XXX-sasl.log

**Windows****上：**

C:\\Users\\Administrator\\AppData\\Roaming\\RabbitMQ\\log\\ rabbit@XXX.log

C:\\Users\\Administrator\\AppData\\Roaming\\RabbitMQ\\log\\ rabbit@ XXX-sasl.log

第一个是记录MQ启动、连接日志，第二个是saal用来记录Erlang相关的信息，例如查看Erlang崩溃的报告。

### **2、管理虚拟主机** ###

rabbitmqctl add\_vhost \[vhost\_name\]

rabbitmqctl list\_vhosts

### **3、启动和关闭rabbitmq**  ###

**1）****以服务方式**

service rabbitmq-server stop

service rabbitmq-server start

service rabbitmq-server status

**2）****以应用程序方式**

rabbitmq-server会启动Erlang节点和Rabbitmq应用

rabbitmqctl stop会关闭Erlang节点和Rabbitmq应用

rabbitmqctl status可以检查消息节点是否正常

Rabbitmq配置文件放在/etc/rabbitmq下，名为rabbitmq.config，没有且需要使用则可以自己新建一个。

**3）****单独关闭****RabbitMQ****应用**

rabbitmqctl stop\_app 关闭Rabbitmq应用

rabbitmqctl start\_app 启动Rabbitmq应用

### **4、用户管理** ###

rabbitmqctl add\_user \[username\] \[pwd\]

rabbitmqctl delete\_user \[username\]

rabbitmqctl change\_password Username Newpassword

rabbitmqctl list\_users

### **5、用户权限控制**  ###

**guest用户****：**

guest是默认用户，具有默认virtual host "/"上的全部权限，仅能通过localhost访问RabbitMQ包括Plugin，建议删除或更改密码。可通过将配置文件中loopback\_users来取消其本地访问的限制\[\{rabbit, \[\{loopback\_users, \[\]\}\]\}\]

**用户权限****：**

用户仅能对其所能访问的virtual hosts中的资源进行操作。这里的资源指的是virtual hosts中的 exchanges、queues等，操作包括对资源进行配置、写、读。配置权限可创建、删除、资源并修改资源的行为，写权限可向资源发送消息，读权限从资源获取消息。比如：

exchange和queue的declare与delete分别需要：exchange和queue上的配置权限。

queue的bind与unbind 需要：queue写权限，exchange的读权限。

发消息(publish)需exchange的写权限。

获取或清除(get、consume、purge)消息需queue的读权限。

对何种资源具有配置、写、读的权限通过正则表达式来匹配，具体命令如下：

rabbitmqctl set\_permissions \[-p <vhostpath>\] <user><conf><write><read>

如用户chj在虚拟主机logHost上的所有权限：

rabbitmqctl set\_permissions –p logHost chj '.\*' '.\*' '.\*'

### **6、设置用户角色：**  ###

rabbitmqctl set\_user\_tags User TagUser为用户名，Tag为角色名(对应于下面的administrator，monitoring，policymaker，management，none)

**RabbitMQ 的用户角色分类****：**none、management、policymaker、monitoring、administrator

**None****：**不能访问management plugin，通常就是普通的生产者和消费者。

**Management****：**普通的生产者和消费者加：

列出自己可以通过AMQP登入的virtual hosts；

查看自己的virtual hosts中的 queues, exchanges和bindings；

查看和关闭自己的channels和connections；

查看有关自己的virtual hosts的“全局”的统计信息，包含其他用户在这些virtual hosts中的活动。

**Policymaker****：**management可以做的任何事加：

查看、创建和删除自己的virtual hosts所属的policies和parameters。

**Monitoring****：**management可以做的任何事加：

列出所有virtual hosts，包括他们不能登录的virtual hosts；

查看其他用户的connections和channels；

查看节点级别的数据如clustering和memory使用情况；

查看真正的关于所有virtual hosts的全局的统计信息administrator；

policymaker和monitoring可以做的任何事加:

创建和删除virtual hosts；

查看、创建和删除users；

查看创建和删除permissions；

关闭其他用户的connections。

### **7、查看** ###

查看队列：

rabbitmqctl list\_queues

查看交换器：

rabbitmqctl list\_exchanges

查看绑定：

rabbitmqctl list\_bindings：

如果命令不太懂，可以直接rabbitmqctl命令进行查询

## **二、RabbitMQ集群**  ##

### **1、RabbitMQ內建集群**  ###

**1.1、內建集群的设计目标**

1、允许消费者和生产者在节点崩溃的情况下继续运行；

2、通过添加节点线性扩展消息通信的吞吐量。

**1.2、可以保证消息的万无一失吗？**

不行，当一个节点崩溃时，该节点上队列的消息也会消失，rabbitmq默认不会将队列的消息复制到整个集群上。

### **2、集群中的队列和交换器**  ###

**2.1、队列**

集群中队列信息只在队列的所有者节点保存队列的所有信息，其他节点只知道队列的元数据和指向所有者节点的指针，节点崩溃时，该节点的队列和其上的绑定信息都消失了。

为什么集群不复制队列内容和状态到所有节点？

1）存储空间。

2）性能，如果消息需要复制到集群中每个节点，网络开销不可避免，持久化消息还需要写磁盘。

所以其他节点接收到不属于该节点的队列的消息时会将该消息传递给该队列的所有者节点上。

**2.2、交换器**

本质上是个这个交换器的名称和队列的绑定列表，可以看成一个类似于HashMap的映射表，所以交换器会在整个集群上复制。

**2.3、元数据**

队列元数据：队列名称和属性（是否可持久化，是否自动删除）

交换器元数据：交换器名称、类型和属性

绑定元数据：交换器和队列的绑定列表

vhost元数据：vhost内的相关属性，如安全属性等等

**2.4、集群中的节点**

要么是内存节点，要么是磁盘节点。怎么区分？就是节点将队列、交换器、用户等等信息保存在哪里？单节点肯定是磁盘类型。集群中可以有内存节点，为了性能的考虑，全部是磁盘节点，当声明队列、交换器等等时，RabbitMQ必须将数据保存在所有节点后才能表示操作完成。

RabbitMQ只要求集群中至少有一个磁盘节点，从高可用的角度讲每个集群应该至少配备两个磁盘节点。因为只有一个磁盘节点的情况下，当这个磁盘节点崩溃时，集群可以保持运行，但任何修改操作，比如创建队列、交换器、添加和删除集群节点都无法进行。

### **3、构建我们自己的集群**  ###

**3.1、集群常用命令**

rabbitmqctl join\_cluster \[rabbit@node1\]将节点加入集群

rabbitmqctl cluster\_status查询集群状态rabbitmqctl reset严格来说，不属于集群命令，reset的作用是将node节点恢复为空白状态，包括但不限于，比如，用户信息，虚拟主机信息，所有持久化的消息。在集群下，通过这个命令，可以让节点离开集群。

**3.2、集群下的注意事项**

元数据的变更，我们知道，这些消息都要记录在磁盘节点上。当有节点离开集群时，所有的磁盘节点上都要记录这个信息。如果磁盘节点在离开集群时不用reset命令，会导致集群认为该节点发生了故障，并会一直等待该节点恢复才允许新节点加入，所以当磁盘节点是被暴力从集群中脱离时，有可能导致集群永久性的无法变更（不单单是加入新节点，包括申明队列，交换器等操作）。

**3.3、****本机集群(建议不要随意尝试)：**** **

RABBITMQ\_NODE\_PORT=5672 RABBITMQ\_NODENAME=rabbit rabbitmq-server -detached

RABBITMQ\_NODE\_PORT=5673 RABBITMQ\_NODENAME=rabbit\_1 rabbitmq-server -detached

RABBITMQ\_NODE\_PORT=5674 RABBITMQ\_NODENAME=rabbit\_2 rabbitmq-server -detached

rabbitmqctl -n rabbit\_1@centosvm stop\_app

rabbitmqctl -n rabbit\_1@centosvm reset

rabbitmqctl -n rabbit\_1@centosvm join\_cluster rabbit@centosvm

rabbitmqctl -n rabbit\_1@centosvm start\_app

rabbitmqctl cluster\_status

rabbitmqctl -n rabbit\_2@centosvm stop\_app

rabbitmqctl -n rabbit\_2@centosvm reset

rabbitmqctl -n rabbit\_2@centosvm join\_cluster rabbit@centosvm --ram

rabbitmqctl -n rabbit\_2@centosvm start\_app

rabbitmqctl cluster\_status从外部要访问虚拟机中 mq记得在防火墙中打开端口

firewall-cmd --add-port=5673/tcp --permanent

firewall-cmd --add-port=5674/tcp --permanent

rabbitmqctl add\_user mq mq

rabbitmqctl set\_permissions mq ".\*"".\*"".\*"

rabbitmqctl set\_user\_tags mq administrator

rabbitmq-plugins -n rabbit\_1@centosvmenable rabbitmq\_management

**3.4、多机下的集群**

Rabbitmq集群对延迟非常敏感，只能在本地局域网内使用。

1、修改 /etc/hosts

192.168.1.1 node1

192.168.1.2 node2

192.168.1.3 node3

2、Erlang Cookie文件：/var/lib/rabbitmq/.erlang.cookie。将 node1的该文件复制到node2、node3，由于这个文件权限是400，所以需要先修改node2、node3中的该文件权限为777，然后将node1中的该文件拷贝到node2、node3，最后将权限和所属用户/组修改回来。

3、运行各节点

4、在node2、node3上分别运行

\[root@node2 ~\]\# rabbitmqctl stop\_app

\[root@node2 ~\]./rabbitmqctl reset

\[root@node2 ~\]\# rabbitmqctl join\_cluster rabbit@node1\[root@node2 ~\]\# rabbitmqctl start\_app

rabbitmqctl cluster\_status

内存节点则是：rabbitmqctl join\_cluster rabbit@node1 --ram

**3.5、移除集群中的节点**

\[root@node2 ~\]\# rabbitmqctl stop\_app

\[root@node2 ~\]./rabbitmqctl reset

\[root@node2 ~\]\# rabbitmqctl start\_app

## **三、RabbitMQ集群高可用**  ##

### **1、镜像队列**  ###

**1.1、什么是镜像队列**

如果RabbitMQ集群是由多个broker节点构成的，那么从服务的整体可用性上来讲，该集群对于单点失效是有弹性的，但是同时也需要注意：尽管exchange和binding能够在单点失效问题上幸免于难，但是queue和其上持有的message却不行，这是因为queue及其内容仅仅存储于单个节点之上，所以一个节点的失效表现为其对应的queue不可用。

**引入****RabbitMQ****的镜像队列机制，将****queue****镜像到****cluster****中其他的节点之上。在该实现下，如果集群中的一个节点失效了，****queue****能自动地切换到镜像中的另一个节点以保证服务的可用性。**在通常的用法中，针对每一个镜像队列都包含一个master和多个slave，分别对应于不同的节点。slave会准确地按照master执行命令的顺序进行命令执行，故slave与master上维护的状态应该是相同的。

除了publish外所有动作都只会向master发送，然后由master将命令执行的结果广播给slave们，故看似从镜像队列中的消费操作实际上是在master上执行的。RabbitMQ的镜像队列同时支持publisher confirm和事务两种机制。在事务机制中，只有当前事务在全部镜像queue中执行之后，客户端才会收到Tx.CommitOk的消息。同样的在publisher confirm机制中，向publisher进行当前message确认的前提是该message被全部镜像所接受了。

**1.2、镜像队列的配置**

**代码****：**

Map<String, Object> args = new HashMap<String, Object>();

args.put("x-ha-policy", "all");

在声明队列时传入 channel.queueDeclare(queueName,false,false, false, args);

**控制台****：**

镜像队列的配置通过添加policy完成，policy添加的命令为：

rabbitmqctl set\_policy \[-p Vhost\] Name Pattern Definition \[Priority\]

\-p Vhost：可选参数，针对指定vhost下的queue进行设置；

Name: policy的名称；

Pattern: queue的匹配模式(正则表达式)；

Definition：镜像定义，包括三个部分ha-mode, ha-params, ha-sync-mode；

ha-mode:指明镜像队列的模式，有效值为all/exactly/nodes；

all：表示在集群中所有的节点上进行镜像；

exactly：表示在指定个数的节点上进行镜像，节点的个数由ha-params指定；

nodes：表示在指定的节点上进行镜像，节点名称通过ha-params指定ha-params：ha-mode模式需要用到的参数；

ha-sync-mode：进行队列中消息的同步方式，有效值为automatic和manual；

priority：可选参数，policy的优先级；

例如，对队列名称以“queue\_”开头的所有队列进行镜像，并在集群的两个节点上完成进行，policy的设置命令为：

rabbitmqctl set\_policy ha-queue-two"^queue\_"

'\{"ha-mode":"exactly","ha-params":2,"ha-sync-mode":"automatic"\}'

windows下将单引号改为双引号(rabbitmqctl set\_policy ha-all “^ha.” “\{“”ha-mode”“:”“all”“\}”)

**补充：**

可通过如下命令确认哪些salve在同步：

rabbitmqctl list\_queues name slave\_pids synchronised\_slave\_pids

手动同步queue：

rabbitmqctl sync\_queue name

取消queue同步：

rabbitmqctl cancel\_sync\_queue name

### **2、使用HAProxy**  ###

处理节点选择，故障服务器检测和负载分布可以使用HAProxy，具体如何安装，参考文档《安装HAProxy》安装HAProxy.txt。

**2.1、下载并解压**

cd /usr/local/src/

wget http://pkgs.fedoraproject.org/repo/pkgs/haproxy/haproxy-1.7.9.tar.gz/sha512/d1ed791bc9607dbeabcfc6a1853cf258e28b3a079923b63d3bf97504dd59e64a5f5f44f9da968c23c12b4279e8d45ff3bd39418942ca6f00d9d548c9a0ccfd73/haproxy-1.7.9.tar.gz

tar zxvf haproxy-1.7.9.tar.gz

**2.2、安装**

cd haproxy-1.7.9

uname -r

3.10.0-514.el7.x86\_64

make TARGET=linux310 ARCH=x86\_64 PREFIX=/usr/local/haproxy

make install PREFIX=/usr/local/haproxy

**2.3、参数说明：**

TARGET=linux310，内核版本，使用uname -r查看内核，如：3.10.0-514.el7，此时该参数就为linux310；kernel：大于2.6.28的可以用：TARGET=linux2628；

ARCH=x86\_64，系统位数；

PREFIX=/usr/local/haprpxy \#/usr/local/haprpxy，为haprpxy安装路径。

**2.4、添加配置文件**

cd /usr/local/haproxy

mkdir conf

cd conf/

vim haproxy.cfg

global

log 127.0.0.1   local0

maxconn 1000

daemon

defaults

log     global

mode    http

option  httplog

option  dontlognull

retries 3

timeout connect 5000

timeout client  50000

timeout server 50000

listen admin\_stats

bind 0.0.0.0:1080

mode http

option httplog

maxconn 10

stats refresh 30s

stats uri /stats

stats realm XingCloud\\ Haproxy

stats auth admin:admin

stats auth  Frank:Frank

stats hide-version

stats  admin if TRUE

listen rabbitmq\_cluster

bind 0.0.0.0:5670

mode tcp

balance roundrobin

server rabbit01 127.0.0.1:5672 check inter 5000 rise 2 fall 3

server rabbit02 node2:5672 check inter 5000 rise 2 fall 3

**2.5、启动haproxy**

/usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/conf/haproxy.cfg

验证lsof -i :1080

**2.6、访问统计页面**

http://127.0.0.1:1080/stats

### **3、RabbitMQ的Web控制台** ###

运行rabbitmq-plugins enable rabbitmq\_management

重启RabbitMQ

在浏览中打开 http://localhost:15672

发表评论取消回复

表情：

评论列表（有 0 条评论，22人围观）

还没有评论，来说两句吧...

相关阅读

相关操作系统-笔记-第五章-输入输出管理

这是一个不断发展迭代的过程轮询—中断—DMA—通道用户-独立性-驱动-中断-硬件。

小咪咪/ 2024年05月06日 23:29/ 0 赞/ 85 阅读

相关第六章 ZK集群源码解读笔记

**一、集群模式** **1、数据同步总流程** ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR...

一时失言乱红尘/ 2024年04月17日 06:03/ 0 赞/ 68 阅读

相关【Redis学习笔记】第十三章 Redis集群

文章目录 1、集群简介 2、Redis集群结构设计 2.1 数据存储设计 2.2 集群内部通讯设计 3、cluster集群结构

约定不等于承诺〃/ 2024年04月08日 11:03/ 0 赞/ 102 阅读

相关第五章、RabbitMQ管理、集群笔记

一、管理RabbitMQ 1、日志一般存放位置 Linux上： /var/log/rabbitmq/rabbit@XXX.log /var/log/rabbi

Dear 丶/ 2023年06月20日 06:34/ 0 赞/ 23 阅读

相关第八章 Elasticsearch集群

我们知道了Elasticsearch能够做什么，接下来我们将见识Elasticsearch另一个很强的-----扩展能力，也就是，Elasticsearch如何能够处理更多的索

布满荆棘的人生/ 2023年03月01日 03:18/ 0 赞/ 10 阅读

相关《RabbitMQ系列教程-第五章-Spring整合RabbitMQ》

教程说明本系列教程目录大纲：[《RabbitMQ系列教程-目录大纲》][RabbitMQ_-] -------------------- 本系列教程配套

古城微笑少年丶/ 2023年01月02日 03:26/ 0 赞/ 210 阅读

相关 RabbitMQ：第四章：RabbitMQ集群搭建

系列文章目录 [RabbitMQ：第一章：6 种工作模式以及消息确认机制（理论与代码相结合）][RabbitMQ_6] [RabbitMQ：第二章：Spring整合Ra

╰+哭是因爲堅強的太久メ/ 2022年09月15日 12:26/ 0 赞/ 196 阅读

相关【openshift 学习笔记】第十三章集群运维管理

一. 安装配置cockpit 在集群所有节点安装 cockpit 以及 docker kubernetes 插件 yum install -y cockp

阳光穿透心脏的1/2处/ 2022年05月27日 06:25/ 0 赞/ 203 阅读

相关 RabbitMQ系列（五）使用Docker部署RabbitMQ集群

概述本文重点介绍的Docker的使用，以及如何部署RabbitMQ集群，最基础的Docker安装，本文不做过多的描述，读者可以自行度娘。 Windows10上Dock

r囧r小猫/ 2022年02月15日 08:45/ 0 赞/ 317 阅读

相关第五章 Nginx其他功能合集笔记

一、跨域处理问题由来：浏览器拒绝执行其它域名下的ajax运作如果浏览器在static.enjoy.com对应的html页面内，发起ajax请求偷盗www.enjoy

àì夳堔傛蜴生んèń/ 2021年10月19日 00:52/ 0 赞/ 253 阅读