MQTT协议介绍、技术选型，EMQ X初体验

柔情只为你懂 2022-09-02 00:59 697阅读 0赞

### 文章目录 ###

*  MQTT
 *   *  协议介绍
     *   *  MQTT协议
     *  技术选型
     *   *  消息队列与MQTT异同
 *  EMQ X
 *   *  简介
     *  安装
     *  Dashboard
     *  常见问题
     *   *  为什么选择EMQ X？
         *  EMQ X 的主题数量有限制吗？
         *  EMQ X 开源版怎么存储数据？
         *  EMQ X 有哪些产品？
         *  MQTT 协议与 HTTP 协议相比，有何优点和弱点?
         *  什么是认证鉴权？使用场景是什么？
         *  什么是 Hook？使用场景是什么？
         *  什么是 mqueue？如何配置 mqueue？
         *  什么是 WebSocket？什么情况下需要通过 WebSocket 去连接 EMQ X 服务器？
         *  什么是共享订阅？有何使用场景？
         *  什么是离线消息？
         *  系统主题有何用处？都有哪些系统主题？

# MQTT #

## 协议介绍 ##

### MQTT协议 ###

参考：[https://docs.emqx.cn/broker/v4.3/development/protocol.html\#mqtt%E5%8D%8F%E8%AE%AE][https_docs.emqx.cn_broker_v4.3_development_protocol.html_mqtt_E5_8D_8F_E8_AE_AE]

MQTT是一个轻量的发布订阅模式消息传输协议，专门针对低带宽和不稳定网络环境的物联网应用设计。

MQTT官网: [http://mqtt.org(opens new window)][http_mqtt.org_opens new window]

MQTT V3.1.1协议规范: [http://docs.oasis-open.org/mqtt/mqtt/v3.1.1/os/mqtt-v3.1.1-os.html(opens new window)][http_docs.oasis-open.org_mqtt_mqtt_v3.1.1_os_mqtt-v3.1.1-os.html_opens new window]

**特点**

1.  开放消息协议，简单易实现
2.  发布订阅模式，一对多消息发布
3.  基于TCP/IP网络连接
4.  1字节固定报头，2字节心跳报文，报文结构紧凑
5.  消息QoS支持，可靠传输保证

**应用**

MQTT协议广泛应用于物联网、移动互联网、智能硬件、车联网、电力能源等领域。

1.  物联网M2M通信，物联网大数据采集
2.  Android消息推送，WEB消息推送
3.  移动即时消息，例如Facebook Messenger
4.  智能硬件、智能家具、智能电器
5.  车联网通信，电动车站桩采集
6.  智慧城市、远程医疗、远程教育
7.  电力、石油与能源等行业市场

## 技术选型 ##

**消息队列**与**消息中间件**适用场景不一样。

MQTT 与消息队列有一定的区别，队列是一种**先进先出**的数据结构，消息队列常用于应用服务层面，实现参考如 RabbitMQ Kafka RocketMQ；

MQTT 是传输协议，绝大部分 MQTT Broker 不保证消息顺序（Queue），常用与物联网、消息传输等，MQTT Broker 的常见需求可参考：[共享行业的分布式 MQTT 设计][MQTT]

### 消息队列与MQTT异同 ###

<table> 
 <thead> 
  <tr> 
   <th align="left">场景</th> 
   <th align="left">部署端</th> 
   <th align="left">MQTT</th> 
   <th align="left">消息队列</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">设备端上报状态数据、设备通信</td> 
   <td align="left">移动终端</td> 
   <td align="left">√</td> 
   <td align="left">×</td> 
  </tr> 
  <tr> 
   <td align="left">接收并处理分析设备的上报数据</td> 
   <td align="left">移动终端</td> 
   <td align="left">×</td> 
   <td align="left">√</td> 
  </tr> 
  <tr> 
   <td align="left">对多个设备下发控制指令</td> 
   <td align="left">服务器</td> 
   <td align="left">×</td> 
   <td align="left">√</td> 
  </tr> 
  <tr> 
   <td align="left">直播、弹幕、聊天 App 收发消息</td> 
   <td align="left">应用</td> 
   <td align="left">√</td> 
   <td align="left">×</td> 
  </tr> 
  <tr> 
   <td align="left">服务端接收并分析聊天消息</td> 
   <td align="left">服务器</td> 
   <td align="left">×</td> 
   <td align="left">√</td> 
  </tr> 
  <tr> 
   <td align="left">客户端连接数</td> 
   <td align="left"></td> 
   <td align="left">客户端规模庞大，百万甚至千万级</td> 
   <td align="left">一般服务器规模较小，极少数万级</td> 
  </tr> 
  <tr> 
   <td align="left">单客户端消息量</td> 
   <td align="left"></td> 
   <td align="left">单个客户端需要处理的消息少，一般定时收发消息</td> 
   <td align="left">单个客户端处理消息量大，注重吞吐量</td> 
  </tr> 
 </tbody> 
</table>

> 感觉就是面向端的用MQTT好些，面向服务内部的用MQ

**MQTT Broker选型**

*  官方文档：[https://github.com/mqtt/mqtt.org/wiki/servers][https_github.com_mqtt_mqtt.org_wiki_servers]

看了一圈，需求是Java语言，开源的，成熟的 奈何没有。。。

*  EMQ X
    
     *  优点：功能强大，成熟，国人开发，文档中文且齐全
     *  缺点：Erlang语言开发，扩展难，消息存储功能**只有企业版才有**，也可以通过webhook免费扩展但性能肯定没有内置的强
    
    > 选用：https://www.emqx.com/zh  
    > EMQ X是一个基于Erlang语言的开源mqtt服务器，目前来看是开源的最好的mqtt服务器，也是**国内开源**的mqtt服务器，优点是功能全面，文档齐全，社区活跃，有很好的支持，缺点是因为erlang语言，对于其他语言的开发者自己扩展有一定难度。官方文档是:EMQ（开源）
 *  其他Java未测试

# EMQ X #

## 简介 ##

https://docs.emqx.cn/broker/v4.3/

*EMQ X* (Erlang/Enterprise/Elastic MQTT Broker) 是基于 Erlang/OTP 平台开发的开源物联网 MQTT 消息服务器。

Erlang/OTP是出色的软实时 (Soft-Realtime)、低延时 (Low-Latency)、分布式 (Distributed)的语言平台。

MQTT 是轻量的 (Lightweight)、发布订阅模式 (PubSub) 的物联网消息协议。

EMQ X 设计目标是实现高可靠，并支持承载海量物联网终端的MQTT连接，支持在海量物联网设备间低延时消息路由:

1.  稳定承载大规模的 MQTT 客户端连接，单服务器节点支持50万到100万连接。
2.  分布式节点集群，快速低延时的消息路由，单集群支持1000万规模的路由。
3.  消息服务器内扩展，支持定制多种认证方式、高效存储消息到后端数据库。
4.  完整物联网协议支持，MQTT、MQTT-SN、CoAP、LwM2M、WebSocket 或私有协议支持。

## 安装 ##

EMQ X 目前支持的操作系统:

*  CentOS 6
 *  CentOS 7
 *  CentOS 8
 *  OpenSUSE tumbleweed
 *  Debian 9
 *  Debian 10
 *  Ubuntu 16.04
 *  Ubuntu 18.04
 *  Ubuntu 20.04
 *  macOS 10.13
 *  macOS 10.14
 *  macOS 10.15
 *  Windows Server 2019

WARNING

产品部署建议 Linux 服务器，不推荐 Windows 服务器。

地址：[https://docs.emqx.cn/broker/v4.3/getting-started/install.html][https_docs.emqx.cn_broker_v4.3_getting-started_install.html]

多种方式，按需选择

**后台启动 EMQ X**

$ emqx start
    EMQ X v4.0.0 is started successfully!

**查看EMQ X状态**

$ emqx_ctl status
    Node 'emqx@127.0.0.1' is started
    emqx 4.0.0 is running

## Dashboard ##

EMQ X 提供了 Dashboard 以方便用户管理设备与监控相关指标。通过 Dashboard，你可以查看服务器基本信息、负载情况和统计数据，可以查看某个客户端的连接状态等信息甚至断开其连接，也可以动态加载和卸载指定插件。除此之外，EMQ X Dashboard 还提供了规则引擎的可视化操作界面，同时集成了一个简易的 MQTT 客户端工具供用户测试使用。

访问 http://localhost:18083 来查看你的 Dashboard，默认用户名是 `admin`，密码是 `public`

可以在**setting**菜单选择中文语言。

## 常见问题 ##

### 为什么选择EMQ X？ ###

EMQ X 与别的 MQTT 服务器相比，有以下的优点：

*  经过100+版本的迭代，EMQ X 目前为开源社区中最流行的 MQTT 消息中间件，在各种客户严格的生产环境上经受了严苛的考验；
 *  EMQ X 支持丰富的物联网协议，包括 MQTT、MQTT-SN、CoAP、 LwM2M、LoRaWAN 和 WebSocket 等；
 *  优化的架构设计，支持超大规模的设备连接。企业版单机能支持百万的 MQTT 连接；集群能支持千万级别的 MQTT 连接；
 *  易于安装和使用；
 *  灵活的扩展性，支持企业的一些定制场景；
 *  中国本地的技术支持服务，通过微信、QQ等线上渠道快速响应客户需求；

### EMQ X 的主题数量有限制吗？ ###

主题使用没有数量限制，主题数量增长对性能影响不大，可以放心使用。

### EMQ X 开源版怎么存储数据？ ###

开源版不支持数据存储功能，可以使用企业版，或者使用外部程序订阅主题/Webhook 的方式获取数据，然后写入到数据库。

> 在控制台资源、规则那块添加web接口，然后再自定义，具体可看官方文档或者在csdn我关注了官方的博客

### EMQ X 有哪些产品？ ###

EMQ X 公司主要提供[三个产品 (opens new window)][_opens new window]，主要体现在支持的连接数量、产品功能和商业服务等方面的区别：

*  EMQ X Broker：EMQ X 开源版，提供 MQTT 协议、CoAP 和 LwM2M 等常见物联网协议的支持；
 *  EMQ X Enterprise：EMQ X 企业版，在开源版基础上，增加了数据持久化 Redis、MySQL、MongoDB 或 PostgreSQL，数据桥接转发 Kafka，LoRaWAN 支持，监控管理，Kubernates 部署等方面的支持；支持百万级并发连接；
 *  EMQ X Platform：EMQ X 平台版，在企业版基础上，支持千万级的连接和跨数据中心的解决方案，提供物联网平台全生命周期中需要的各种服务（咨询、培训、架构设计、定制开发、平台建设、功能测试与运维服务）。

### MQTT 协议与 HTTP 协议相比，有何优点和弱点? ###

HTTP 协议是一个无状态的协议，每个 HTTP 请求为 TCP 短连接，每次请求都需要重新创建一个 TCP 连接（可以通过 keep-alive 属性来优化 TCP 连接的使用，多个 HTTP 请求可以共享该 TCP 连接）；而 MQTT 协议为长连接协议，每个客户端都会保持一个长连接。与 HTTP 协议相比优势在于 ：

*  MQTT 的长连接可以用于实现从设备端到服务器端的消息传送之外，还可以实现从服务器端到设备端的实时控制消息发送，而 HTTP 协议要实现此功能只能通过轮询的方式，效率相对来说比较低；
 *  MQTT 协议在维护连接的时候会发送心跳包，因此协议以最小代价内置支持设备 “探活” 的功能，而 HTTP 协议要实现此功能的话需要单独发出 HTTP 请求，实现的代价会更高；
 *  低带宽、低功耗。MQTT 在传输报文的大小上与 HTTP 相比有巨大的优势，因为 MQTT 协议在连接建立之后，由于避免了建立连接所需要的额外的资源消耗，发送实际数据的时候报文传输所需带宽与 HTTP 相比有很大的优势，参考网上[有人做的测评 (opens new window)][_opens new window 1]，发送一样大小的数据，MQTT 比 HTTP 少近 50 倍的网络传输数据，而且速度快了将近 20 倍。在网上有人做的[另外一个评测显示 (opens new window)][_opens new window 2]，接收消息的场景，MQTT 协议的耗电量为 HTTP 协议的百分之一，而发送数据的时候 MQTT 协议的耗电量为 HTTP 协议的十分之一；
 *  MQTT 提供消息质量控制（QoS），消息质量等级越高，消息交付的质量就越有保障，在物联网的应用场景下，用户可以根据不同的使用场景来设定不同的消息质量等级；

### 什么是认证鉴权？使用场景是什么？ ###

认证鉴权指的是当一个客户端连接到 MQTT 服务器的时候，通过服务器端的配置来控制客户端连接服务器的权限。EMQ 的认证机制包含了有三种，

*  用户名密码：针对每个 MQTT 客户端的连接，可以在服务器端进行配置，用于设定用户名和密码，只有在用户名和密码匹配的情况下才可以让客户端进行连接
 *  ClientID：每个 MQTT 客户端在连接到服务器的时候都会有个唯一的 ClientID，可以在服务器中配置可以连接该服务器的 ClientID 列表，这些 ClientID 的列表里的客户端可以连接该服务器
 *  匿名：允许匿名访问

通过用户名密码、ClientID 认证的方式除了通过配置文件之外，还可以通过各类数据库和外部应用来配置，比如 MySQL、PostgreSQL、Redis、MongoDB、HTTP 和 LDAP 等。

### 什么是 Hook？使用场景是什么？ ###

钩子（hook）指的是由 EMQ X 在连接、对话和消息触发某些事件的时候提供给对外部的接口，主要提供了如下的钩子，EMQ X 提供了将这些 hook 产生的事件持久化至数据库的功能，从而很方便地查询得知客户端的连接、断开等各种信息。

*  client.connected：客户端上线
 *  client.disconnected：客户端连接断开
 *  client.subscribe：客户端订阅主题
 *  client.unsubscribe：客户端取消订阅主题
 *  session.created：会话创建
 *  session.resumed：会话恢复
 *  session.subscribed：会话订阅主题后
 *  session.unsubscribed：会话取消订阅主题后
 *  session.terminated：会话终止
 *  message.publish：MQTT 消息发布
 *  message.delivered：MQTT 消息送达
 *  message.acked：MQTT 消息回执
 *  message.dropped：MQTT 消息丢弃

### 什么是 mqueue？如何配置 mqueue？ ###

mqueue 是 EMQ X 在消息发布流程中保存在会话中的一个消息队列，当 MQTT 连接报文中的 clean session 设置为 false 的时候，即使是客户端断开连接的情况下，EMQ X 也会为断连客户端保存一个会话，这个会话会缓存订阅关系，并代替断开连接的客户端去接收订阅主题上的消息，而这些消息会存在 EMQ X 的 mqueue 中，等到客户端重新上线再将消息重新发给客户端。由于 qos0 消息在 MQTT 协议中的优先级比较低，所以 EMQ X 默认不缓存 qos 0 的消息，mqueue 在 EMQ X 中是可以配置的，通过配置 `zone.$name.mqueue_store_qos0 = true` 可以将 qos0 消息也存在 mqueue 中，mqueue 的大小也是有限制的，通过配置项 `zone.external.max_mqueue_len` ，可以确定每个会话缓存的消息数量。注意，这些消息是存储在内存中的，所以尽量不要将 mqueue 长度限制修改为 0（设置为 0 代表 mqueue 长度没有限制），否则在实际的业务场景中，有内存耗光的风险。

### 什么是 WebSocket？什么情况下需要通过 WebSocket 去连接 EMQ X 服务器？ ###

WebSocket 是一种在基于 HTTP 协议上支持全双工通讯的协议，通过该协议，用户可以实现浏览器和服务器之间的双向通信，比如可以通过服务器往浏览器端推送消息。EMQ X 提供了 WebSocket 连接支持，用户可以在浏览器端直接实现对主题的订阅和消息发送等操作。

### 什么是共享订阅？有何使用场景？ ###

共享订阅是 MQTT 5.0 标准的新特性，在标准发布前，EMQ X 就已经把共享订阅作为标准外特性进行了支持。在普通订阅中，所有订阅者都会收到订阅主题的所有消息，而在共享订阅中，订阅同一个主题的客户端会轮流的收到这个主题下的消息，也就是说同一个消息不会发送到多个订阅者，从而实现订阅端的多个节点之间的负载均衡。

共享订阅对于数据采集 / 集中处理类应用非常有用。在这样的场景下，数据的生产者远多余数据的消费者，且同一条数据只需要被任意消费者处理一次。

更多使用方式请参考 [共享订阅 (opens new window)][_opens new window 3]

### 什么是离线消息？ ###

一般情况下 MQTT 客户端仅在连接到消息服务器的时候，如果客户端离线将收不到消息。但是在客户端有固定的 ClientID，clean\_session 为 false，且 QoS 设置满足服务器端的配置要求时，在客户端离线时，服务器可以为客户端保持一定量的离线消息，并在客户端再次连接是发送给客户端。

离线消息在网络连接不是很稳定时，或者对 QoS 有一定要求时非常有用。

### 系统主题有何用处？都有哪些系统主题？ ###

系统主题以 `$SYS/` 开头。EMQ X 会以系统主题的方式周期性的发布关于自身运行状态、MQTT 协议统计、客户端上下线状态到系统主题。订阅系统主题可以获得这些信息。

这里列举一些系统主题，完整的系统主题请参考 EMQ X 文档的相关章节：

*  $SYS/brokers: 集群节点列表
 *   S Y S / b r o k e r s / SYS/brokers/ SYS/brokers/\{node\}/clients/$\{clientid\}/connected: 当客户端连接时发送的客户端信息
 *   S Y S / b r o k e r / SYS/broker/ SYS/broker/\{node\}/stats/connections/count: 当前客户端总数
 *   S Y S / b r o k e r / SYS/broker/ SYS/broker/\{node\}/stats/sessions/count: 当前会话总数

[https_docs.emqx.cn_broker_v4.3_development_protocol.html_mqtt_E5_8D_8F_E8_AE_AE]: https://docs.emqx.cn/broker/v4.3/development/protocol.html#mqtt%E5%8D%8F%E8%AE%AE
[http_mqtt.org_opens new window]: http://mqtt.org/
[http_docs.oasis-open.org_mqtt_mqtt_v3.1.1_os_mqtt-v3.1.1-os.html_opens new window]: http://docs.oasis-open.org/mqtt/mqtt/v3.1.1/os/mqtt-v3.1.1-os.html
[MQTT]: https://blog.csdn.netesttopic/java060515/article/details/80129549
[https_github.com_mqtt_mqtt.org_wiki_servers]: https://github.com/mqtt/mqtt.org/wiki/servers
[https_docs.emqx.cn_broker_v4.3_getting-started_install.html]: https://docs.emqx.cn/broker/v4.3/getting-started/install.html
[_opens new window]: https://www.emqx.io/products
[_opens new window 1]: https://medium.com/@flespi/http-vs-mqtt-performance-tests-f9adde693b5f
[_opens new window 2]: http://stephendnicholas.com/posts/power-profiling-mqtt-vs-https
[_opens new window 3]: https://docs.emqx.io/tutorial/v3/cn/advanced/share_subscribe.html