kafka相关知识

旧城等待， 2024-04-18 15:23 79阅读 0赞

**1、Kafka是什么**  
在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。  
KAFKA + STORM +REDIS

**2、JMS基础**  
**2.1 JMS设什么**  
JMS是什么：JMS是Java提供的一套技术规范  
JMS干什么用：用来异构系统 集成通信，缓解系统瓶颈，提高系统的伸缩性增强系统用户体验，使得系统模块化和组件化变得可行并更加灵活  
通过什么方式：生产消费者模式（生产者、服务器、消费者）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70]  
**2.2、JMS消息传输模型**  
1)点对点模式（一对一，消费者主动拉取数据，消息收到后消息清除）  
点对点模型通常是一个基于拉取或者轮询的消息传送模型，这种模型从队列中请求信息，而不是将消息推送到客户端。这个模型的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此。  
2)发布/订阅模式（一对多，数据生产后，推送给所有订阅者）  
发布订阅模型则是一个基于推送的消息传送模型。发布订阅模型可以有多种不同的订阅者，临时订阅者只在主动监听主题时才接收消息，而持久订阅者则监听主题的所有消息，即时当前订阅者不可用，处于离线状态。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70 1]  
queue.put（object） 数据生产  
queue.take(object) 数据消费

**2.3、JMS核心组件**  
1)Destination：消息发送的目的地，也就是前面说的Queue和Topic。  
2)Message ：从字面上就可以看出是被发送的消息。  
3)Producer： 消息的生产者，要发送一个消息，必须通过这个生产者来发送。  
4)MessageConsumer： 与生产者相对应，这是消息的消费者或接收者，通过它来接收一个消息。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70 2]  
**2.4 JMS消息服务器 ActiveMQ**  
ActiveMQ 是Apache出品，最流行的，能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的。  
**主要特点：**  
1)多种语言和协议编写客户端。语言: Java, C, C++, C\#, Ruby, Perl, Python, PHP。应用协议: OpenWire,Stomp REST,WS Notification,XMPP,AMQP  
2)完全支持JMS1.1和J2EE 1.4规范 (持久化,XA消息,事务)  
3)对Spring的支持,ActiveMQ可以很容易内嵌到使用Spring的系统里面去,而且也支持Spring2.0的特性  
4)通过了常见J2EE服务器(如 Geronimo,JBoss 4, GlassFish,WebLogic)的测试,其中通过JCA 1.5 resource adaptors的配置,可以让ActiveMQ可以自动的部署到任何兼容J2EE 1.4 商业服务器上  
5)支持多种传送协议:in-VM,TCP,SSL,NIO,UDP,JGroups,JXTA  
6)支持通过JDBC和journal提供高速的消息持久化  
7)从设计上保证了高性能的集群,客户端-服务器,点对点  
8)支持Ajax  
9)支持与Axis的整合  
10)可以很容易得调用内嵌JMS provider,进行测试

**3、Kafka核心组件**  
1)Topic ：消息根据Topic进行归类  
2)Producer：发送消息者  
3)Consumer：消息接受者  
4)broker：每个kafka实例(server)  
5)Zookeeper：依赖集群保存meta信息。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70 3]  
**4、Kafka常用操作命令**  
1)查看当前服务器中的所有topic  
bin/kafka-topics.sh --list – zk01:2181  
2)创建topic  
./kafka-topics.sh --create --zookeeper mini1:2181 --replication-factor 1 --partitions 3 --topic first  
3)删除topic  
sh bin/kafka-topics.sh --delete --zookeeper zk01:2181 --topic test  
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。  
4)通过shell命令发送消息  
kafka-console-producer.sh --broker-list kafka01:9092 --topic itheima  
5)通过shell消费消息  
sh bin/kafka-console-consumer.sh --zookeeper zk01:2181 --from-beginning --topic test1  
6)查看消费位置  
sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper zk01:2181 --group testGroup  
7)查看某个Topic的详情  
sh kafka-topics.sh --topic test --describe --zookeeper zk01:2181

**5、Kafka生产者Java API**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70 4]

**6、Kafka消费者Java API**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70 5]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/010ec340bc1744b19995a67a48d7abbf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/6796867201ee427d8f798393b539667d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/fb03762c686d40e194c4c2b7a2a942f8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/709584f8e8d24724930397d64e1ce59b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/e4b7863284e2449c9b45c3a56885bc2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L211c2lfbQ_size_16_color_FFFFFF_t_70 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/18/bb13a028d4ef4a0eaeb34e9b8b77a9c2.png