NSQ理解

太过爱你忘了你带给我的痛 2022-05-12 11:54 363阅读 0赞

## **一、介绍** ##

NSQ是Go语言编写的，开源的分布式消息队列中间件，其设计的目的是用来大规模地处理每天数以十亿计级别的消息。NSQ 具有分布式和去中心化拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证消息的可靠传递的特征，是一个成熟的、已在大规模生成环境下应用的产品。它基于MIT开源协议发布，由bitly公司开源出来的一款简单易用的消息中间件。

**特点：**

1. NSQ提供了分布式的，去中心化，且没有单点故障的拓扑结构，稳定的消息传输发布保障，能够具有高容错和HA（高可用）特性。

2. NSQ支持水平扩展，没有中心化的brokers。内置的发现服务简化了在集群中增加节点。同时支持pub-sub和load-balanced 的消息分发。

3. NSQ非常容易配置和部署

4. NSQ支持延时消息的投递

# #

## 二、核心组件及相关术语 ##

nsq的几个核心组件包括 nsqd、nsqlookupd、nsqadmin

### **1. nsqd** ###

官方原话：nsqd 是一个守护进程，负责接收，排队，投递消息给客户端

简单的说，真正干活的就是这个服务，它主要负责message的收发，队列的维护。nsqd会默认监听一个tcp端口(4150)和一个http端口(4151)以及一个可选的https端口

总的来说，nsqd 具有以下功能或特性

*  对订阅了同一个topic，同一个channel的消费者使用负载均衡策略（不是轮询）
 *  只要channel存在，即使没有该channel的消费者，也会将生产者的message缓存到队列中（注意消息的过期处理）
 *  保证队列中的message至少会被消费一次，即使nsqd退出，也会将队列中的消息暂存磁盘上(结束进程等意外情况除外)
 *  限定内存占用，能够配置nsqd中每个channel队列在内存中缓存的message数量，一旦超出，message将被缓存到磁盘中
 *  topic，channel一旦建立，将会一直存在，要及时在管理台或者用代码清除无效的topic和channel，避免资源的浪费

这是官方的图，第一个channel(meteics)因为有多个消费者，所以触发了负载均衡机制。后面两个channel由于没有消费者，所有的message均会被缓存在相应的队列里，直到消费者出现

![f1434dc8-6029-11e3-8a66-18ca4ea10aca.gif][]

![1460000009194611_w_420_h_281][]

### **2. nsqlookupd** ###

nsqlookupd是守护进程负责管理拓扑信息。客户端通过查询 nsqlookupd 来发现指定话题（topic）的生产者，并且 nsqd 节点广播话题（topic）和通道（channel）信息

简单的说nsqlookupd就是中心管理服务，它使用tcp(默认端口4160)管理nsqd服务，使用http(默认端口4161)管理nsqadmin服务。同时为客户端提供查询功能

总的来说，nsqlookupd具有以下功能或特性

*  唯一性，在一个Nsq服务中只有一个nsqlookupd服务。当然也可以在集群中部署多个nsqlookupd，但它们之间是没有关联的
 *  去中心化，即使nsqlookupd崩溃，也会不影响正在运行的nsqd服务
 *  充当nsqd和naqadmin信息交互的中间件
 *  提供一个http查询服务，给客户端定时更新nsqd的地址目录

## ##

### **3.nsqadmin** ###

官方原话：是一套 WEB UI，用来汇集集群的实时统计，并执行不同的管理任务

总的来说，nsqadmin具有以下功能或特性

*  提供一个对topic和channel统一管理的操作界面以及各种实时监控数据的展示，界面设计的很简洁，操作也很简单
 *  展示所有message的数量，恩....装X利器
 *  能够在后台创建topic和channel，这个应该不常用到
 *  nsqadmin的所有功能都必须依赖于nsqlookupd，nsqadmin只是向nsqlookupd传递用户操作并展示来自nsqlookupd的数据

nsqadmin默认的访问地址是[http://127.0.0.1:4171/][http_127.0.0.1_4171]