kafka的简单概述及基本命令

系统管理员 2024-04-18 15:13 81阅读 0赞

### 一、Kafka简介，什么是kafka ###

Kafka：消息队列，缓存数据

kafka是一个分布式消息队列，流式计算中，一般用来缓存数据

在流式计算中，Kafka一般用来缓存数据，SparkStream/Flink/Storm通过消费Kafka的数据进行计算。

1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。

2）Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一、高通量、低等待的平台。

3）Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server)成为broker。

4）无论是kafka集群，还是producer和consumer都依赖于zookeeper集群保存一些meta信息，来保证系统可用性。

### 二、传统的消息队列 ###

点对点：生产者推送队列  消费者拉取消息 发送反馈 消息被删除

发布订阅：生产者推送队列  队列将消息推送给订阅的消费者 消息不会被删除

Kafka：基于订阅发布  生产者推送队列 消费者主动拉取

### 三、kafka组件 ###

生产者 producer

消费者 consumer

Broker 每台kafka相当于broker

Topic 就是一个队列

partition 分区

replication副本

### 四、kafka写入数据流程 ###

1. 从zookeeper找到leader

2. 将数据返回leader

3. Leader 将数据写入到本地 发送ack

4. Follower 同步数据 发送ack

### 五、分区规则： ###

1. 指定了partition，则直接使用

2. 未指定partition 但指定key，通过对key的vlaue进行hash出一个partition

3. Partition 和 key 都未指定，使用轮询选出一个partition

**未指定分区**

Key 不为 null  abs取绝对值

Math.abs(key.hashcode)%numberpartitions

**指定分区**

向指定分区写入数据

### 六、自定义分区器 ###

### 七、数据保存 ###

数据保存到topic中的分区中  (物理上是一个目录)

顺序写入磁盘

Index 文件

Log文件

### 八、数据存储策略 ###

基于时间 ：周期性的从文件末尾删除过期的数据（**默认一周**）7天

基于大小 ： 周期性的将超过最大值的 （**默认1G**）数据文件重命名 生成新的文件，删除旧的文件

### 九：kafka命令 ###

控制台生产者：
    kafka-console-producer.sh --topic test --broker-list hadoop:9092
     
    控制台消费者：
    kafka-console-consumer.sh --topic test --bootstrap-server hadoop:9092 --from-beginning
     
    主题：（topic）
    创建主题
    kafka-topics.sh --create --topic test --zookeeper hadoop:2181 --partitions 3 --replication-factor 3
     
    查看主题
    kafka-topics.sh --describe --topic test --zookeeper hadoop:2181
     
    查看主题列表
    kafka-topics.sh --list --topic test --zookeeper hadoop:2181
    kafka-topics.sh --list --zookeeper hadoop:2181
     
    删除主题
    kafka-topics.sh --delete --zookeeper hadoop:2181 --topic first

**需要知识文档的博友请在下方留言评论......**