大数据企业级消息平台 Apache Kafka 前传 01

╰半夏微凉° 2022-02-24 14:35 245阅读 0赞

# 1. Kafka是什么 #

![在这里插入图片描述][20190404140115614.png]

*  Kafka是一个开源消息系统，由Scala写成。是有Apache软件软件基金会开发的一个开源消息系统项目。
 *  Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。
 *  Kafka是一个分布式消息队列：生产者、消费者的功能。它提供了类似JMS的特性，但是在收集实现上完全不同，此外它并不是JMS规范的实现。
 *  Kafka对消息保存时根据Topic进行归类。
 *  发送消息者称为Producer,消息接受者称为Consumer。
 *  此外Kafka集群有多个Kafka实例祖晨给，每个实例（server）成为broker。
 *  无论是Kafka集群还是producer和consumer都依赖于Zookeeper集群，ZK保存一些meta信息，来保证系统可用性。  
    ![在这里插入图片描述][2019040414094979.png]

# 2. JMS是什么 #

JMS(JAVA Message Service, java消息服务) API是一个消息服务的标准或者说是规范，允许应用程序组件基于JavaEE平台创建、发送、接收和读取消息。它使分布式通信耦合度更低，消息服务更加可靠以及异步性。  
更多参加：[http://blog.csdn.net/jiuqiyuliang/article/details/467015][http_blog.csdn.net_jiuqiyuliang_article_details_467015]

## 2.1 JMS的基础 ##

JMS是什么：JMS是Java提供的一套技术规范  
JMS干什么用：用来异构系统、集成通信，缓解系统瓶颈，提高系统的伸缩性增强系统用户体验，使得系统模块化和组件化变得可行并更加灵活。  
通过什么方式：生产消费者模式（生产者、服务器、消费者）  
![在这里插入图片描述][20190407101432738.png]

## 2.2 JMS消息传输模型 ##

*  点对点模式（一对一，消费者主动拉取数据，消息收到后消息消除）  
    点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，  
    而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被**一个且只有一个接收者接收处理**，即使有多个消息监听者也是如此。
 *  发布/订阅模式（一对多，数据生产后，推送给所有订阅者）  
    发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者，  
    临时订阅者只在主动监听主题时才接收消息，而持久订阅者则监听主题的所有消息，**即时当前订阅者不可用，处于离线状态**。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]

## 2.3 JMS 核心组件 ##

*  Destination：消息发送的目的地，也就是前面说的Queue和Topic。
 *  Message: 从字面上可以看出是被发送的消息。
 *  Producer: 消息的生产者，要发送一个消息，必须通过这个生产者来发送。
 *  MessageConsumer: 与生产者相对，这是消息的消费者或接受者，通过它来接收一个消息。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]

## 2.4 常见的类JMS消息服务器 ##

### 2.4.1 JMS消息服务器ActiveMQ ###

ActiveMQ 是 Apache 出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1 和 J2EE 1.4 规范的。  
主要特点：

*  多种语言和协议编写客户端。语言: Java, C, C++, C\#, Ruby, Perl, Python, PHP。应用协议:  
    OpenWire,Stomp REST,WS Notification,XMPP,AMQP
 *  完全支持 JMS1.1 和 J2EE 1.4 规范 (持久化,XA 消息,事务)
 *  对 Spring 的支持,ActiveMQ 可以很容易内嵌到使用 Spring 的系统里面去,而且也支持Spring2.0 的特性
 *  通过了常见 J2EE 服务器(如 Geronimo,JBoss 4, GlassFish,WebLogic)的测试,其中通过 JCA  
    1.5 resource adaptors 的配置,可以让 ActiveMQ 可以自动的部署到任何兼容 J2EE 1.4 商业服务器上
 *  支持多种传送协议:in-VM,TCP,SSL,NIO,UDP,JGroups,JXTA
 *  支持通过 JDBC 和 journal 提供高速的消息持久化
 *  从设计上保证了高性能的集群,客户端-服务器,点对点
 *  支持 Ajax
 *  支持与 Axis 的整合
 *  可以很容易得调用内嵌 JMS provider,进行测试

### 2.4.2 分布式消息中间件 Metamorphosis ###

![在这里插入图片描述][20190407102540277.png]  
Metamorphosis (MetaQ) 是一个高性能、高可用、可扩展的分布式消息中间件，类似于 LinkedIn的 Kafka，具有消息存储顺序写、吞吐量大和支持本地和 XA 事务等特性，适用于大吞吐量、顺序消息、广播和日志数据传输等场景，在淘宝和支付宝有着广泛的应用，现已开源。  
主要特点：

*  生产者、服务器和消费者都可分布
 *  消息存储顺序写 性能极高,吞吐量大
 *  支持消息顺序 支持本地和 XA 事务
 *  客户端 pull，随机读,利用 sendfile 系统调用，zero-copy ,批量拉数
 *  支持消费端事务
 *  支持消息广播模式
 *  支持异步发送消息
 *  支持 http 协议
 *  支持消息重试和 recover
 *  数据迁移、扩容对用户透
 *  消费状态保存在客户端
 *  支持同步和异步复制两种 HA
 *  支持 group commmit

### 2.4.3 分布式消息中间件 RocketMQ ###

RocketMQ是一款分布式、队列模式的消息中间件，具有以下特点：

*  能够保证严格的消息顺序
 *  提供丰富的消息拉取模式
 *  高效的订阅者水平扩展功能。
 *  实时的消息订阅机制
 *  亿级消息堆积能力
 *  Metaq3.0 版本改名，产品名称改为RocketMQ

### 2.4.4 其他MQ ###

*  .NET消息中间件DotNetMQ
 *  基于Hbase的消息队列HQueue
 *  Go的MQ框架KiteQ
 *  AMQP消息服务器RabbitMQ
 *  MemcacheQ 是一个基于MemcacheDB的消息队列服务器

# 3. 为什么需要消息队列（了解） #

消息系统的核心作用就是三点：解耦，异步和并行  
以用户注册的案列来说明消息系统的作用

## 3.1 用户注册的一般流程 ##

![在这里插入图片描述][20190407104208583.png]

## 3.2 用户注册的并行执行 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]  
问题： 系统并行的发起了4个请求，4个请求中，如果某一个环节执行1分钟，其他环节再快，用户也需要等待1分钟。如果其中一个环节异常之后，整个服务器挂掉了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 3]

## 3.3 用户注册的最终一致 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 4]

[20190404140115614.png]: /images/20220224/01eb1dfb74f346058de8c44bf219bb60.png
[2019040414094979.png]: /images/20220224/9f9a10dceb3f44e7af30cc49271d90c6.png
[http_blog.csdn.net_jiuqiyuliang_article_details_467015]: http://blog.csdn.net/jiuqiyuliang/article/details/467015
[20190407101432738.png]: /images/20220224/0f4df905aaa84e29b4abb5cb4a7af6b8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70]: /images/20220224/93555bffa9d1445a997435bd54f3bd83.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 1]: /images/20220224/6e160e1eaf7f4006979f131997fec39a.png
[20190407102540277.png]: /images/20220224/190496d888524f3c82a7e33e84c3a0f6.png
[20190407104208583.png]: /images/20220224/4f0a0de6cf1a456aa288ed96b0017601.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 2]: /images/20220224/91218fb86e824db7ad8b541c3ed30b69.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 3]: /images/20220224/e7b46de6c2c843f18f5772da5c0ede86.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjY0MTkwOQ_size_16_color_FFFFFF_t_70 4]: /images/20220224/fbe6b367ec6d42809d7e4f78a2a1dfc9.png