EMQ X 入门教程基础篇②——EMQ-X 消息存储到数据库的四种方法

墨蓝 2022-12-11 10:30 676阅读 0赞

### 文章目录 ###

*  一、EMQ-X Enterprise
 *  二、MQTT客户端订阅消息再转存数据库
 *  三、WebHook
 *  四、插件
 *  五、总结

使用EMQ-X 如何实现将设备上报上来的消息存储到数据库呢，方法很多，如下

# 一、EMQ-X Enterprise #

购买EMQ-X企业版，有钱就用最省力的办法。  
[数据存储设计 • EMQ X 使用文档][_ EMQ X]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thbmd3ZWlqaWFu_size_16_color_FFFFFF_t_70_pic_center]

# 二、MQTT客户端订阅消息再转存数据库 #

**方法：**

1.  后台开个超级权限的MQTT客户端
2.  订阅所需的主题
3.  Qos设置成2，保证只接收一次，数据不会丢，也不会多
4.  将接收到的消息存储到数据库

**弊端**：

这个方法是最简单的，目前在很多开源的物联网项目中看到都是这么用的，但是它的弊端也很明显。

1.  设备数越多，订阅数越多，进来的消息也越多
2.  只有一个Socket管道的MQTT客户端压力就会很大
3.  Socket本身就不稳定，在压力大的情况下，就更容易掉线重连
    
    1.  如果cleanSession true，则掉线后，离线期间的数据就永久丢失了
    2.  如果cleanSession false，则重连后，broker会再推送消息过来，这时候离线期间没收到的数据全来了，压力剧增又容易再次掉线，然后开始了一个可怕的死循环

**进一步解决方法**：

办法总比问题多，是个问题总能解决

1.  一个MQTT客户端的压力大，那就分流到多个MQTT客户端
2.  分流后的消息数据再引导kafka等数据处理框架中

引用别人的一张图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thbmd3ZWlqaWFu_size_16_color_FFFFFF_t_70_pic_center 1]

# 三、WebHook #

[WebHook • EMQ X 使用文档][WebHook _ EMQ X]

了解WebHook之前需要先连接Hook，[钩子 • EMQ X 使用文档][_ EMQ X 1]

WebHook 对于事件的处理是单向的，它仅支持将 EMQ X 中的事件推送给 Web 服务，并不关心 Web 服务的返回。 借助 Webhook 可以完成设备在线、上下线记录，订阅与消息存储、消息送达确认等诸多业务。

# 四、插件 #

Enterprise实现[数据存储][_ EMQ X]的方式就是通过[插件][Link 1]来实现的，而插件的核心又是[钩子][_ EMQ X 1]。

所以，看到这里大家就会很奇怪，那么**WebHook**和**插件**差别在哪呢。

*  WebHook是在消息进来的某个钩子节点时，发送HTTP请求到某个Web服务，在Web服务里面执行我们想要的数据存储功能
 *  插件是在消息进来的某个钩子节点时，插入一段代码，执行我们想要的数据存储功能

Enterprise就是通过插件来实现的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thbmd3ZWlqaWFu_size_16_color_FFFFFF_t_70_pic_center 2]  
EMQ提供了插件开发功能，参考 [emqx\_plugin\_template][emqx_plugin_template] 插件模版创建新的插件项目。  
所以，理论上我们也是可以做到的，只是可能有点难。而且插件没写好的话，可能比上述三个方法更惨，所以要谨慎。

# 五、总结 #

在money不富裕的情况下，个人建议是 **WebHook** > **MQTT客户端订阅消息再转存数据库** > **插件**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thbmd3ZWlqaWFu_size_16_color_FFFFFF_t_70_pic_center 3]

[_ EMQ X]: https://docs.emqx.net/broker/latest/cn/backend/backend.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thbmd3ZWlqaWFu_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/90bdc9bda3764c3795ac3903951adf77.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thbmd3ZWlqaWFu_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/1a89b035270244cf9628f2a6a2ffe17c.png
[WebHook _ EMQ X]: https://docs.emqx.net/broker/latest/cn/advanced/webhook.html
[_ EMQ X 1]: https://docs.emqx.net/broker/latest/cn/advanced/hooks.html
[Link 1]: https://docs.emqx.net/broker/latest/cn/advanced/plugins.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thbmd3ZWlqaWFu_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/3ce0387ca24344d789a466a6f4316dbf.png
[emqx_plugin_template]: https://github.com/emqx/emqx-plugin-template
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2thbmd3ZWlqaWFu_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/949248e7a99d42b495e389f2cefd0230.png