ubuntu 安装 kafka

╰半夏微凉° 2022-05-14 00:06 139阅读 0赞

## 下载 ##

[点击][Link 1]  
自己可以自选版本

下载好了，解压即可

## 启动服务 ##

Kafka使用Zookeeper，我已经安装启动起来了  
没有安装的[点击][Link 2]  
目录切换到bin目录，已经习惯这一层了

./kafka-server-start.sh ../config/server.properties

启动不报错即成功

## 创建topic ##

为了测试方便，此时我新开一个窗口，切换到kafka这一级目录

**创建队列**

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

创建好之后，可以通过运行以下命令，查看已创建的topic信息：

bin/kafka-topics.sh --list --zookeeper localhost:2181

**发送消息**

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

为了看直观的效果，我们在起一个窗口，还是切换到这一级目录  
作为消费者

**订阅消息**

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

效果如下图  
![这里写图片描述][70]

## 管理工具 ##

下载 KafkaOffsetMonitor-assembly-0.2.0 包

执行以下命令

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk 127.0.0.1:2181 --port 8086 --refresh 10.seconds --retain 2.days

## 关键字 ##

1.producer：
    消息生产者，发布消息到 kafka 集群的终端或服务。
    2.broker：
    kafka 集群中包含的服务器。
    3.topic：
    每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。
    4.partition：
    partition 是物理上的概念，每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。
    5.consumer：
    从 kafka 集群中消费消息的终端或服务。
    6.Consumer group：
    high-level consumer API 中，每个 consumer 都属于一个 consumer group，每条消息只能被 consumer group 中的一个 Consumer 消费，但可以被多个 consumer group 消费。
    7.replica：
    partition 的副本，保障 partition 的高可用。
    8.leader：
    replica 中的一个角色， producer 和 consumer 只跟 leader 交互。
    9.follower：
    replica 中的一个角色，从 leader 中复制数据。
    10.controller：
    kafka 集群中的其中一个服务器，用来进行 leader election 以及 各种 failover。
    12.zookeeper：
    kafka 通过 zookeeper 来存储集群的 meta 信息。

## zookeeper起的作用 ##

此处也不知道原文在哪里了

Kafka将元数据信息保存在Zookeeper中，但是发送给Topic本
    身的数据是不会发到Zk上的，kafka使用
    zookeeper来实现动态的集群扩展，不需要更改客户端
    （producer和consumer）的配置。broker会在zookeeper注册
    并保持相关的元数据（topic，partition信息等）更新。而客户端会
    在zookeeper上注册相关的watcher。一旦zookeeper发生变化，
    客户端能及时感知并作出相应调整。这样就保证了添加或去除broker时，
    各broker间仍能自动实现负载均衡。这里的客户端指的是Kafka的消息生产端(Producer)和
    消息消费端(Consumer)Producer端使用zookeeper用来"发现"broker列表,以及和Topic下
    每个partition的leader建立socket连接并发送消息。也就是说每个Topic的partition
    是由Lead角色的Broker端使用zookeeper来注册broker信息,以及监测partition leader存活性
    .Consumer端使用zookeeper用来注册consumer信息,其中包括consumer消费的partition列表等,
    同时也用来发现broker列表,并和partition leader建立socket连接,并获取消息.

参考 [http://orchome.com/6][http_orchome.com_6]

[Link 1]: http://mirrors.ibiblio.org/apache/kafka/2.0.0/kafka_2.11-2.0.0.tgz
[Link 2]: https://blog.csdn.net/fengchen0123456789/article/details/82220522
[70]: /images/20220514/3233c6e4b8f042be9e0feb9b387b7b4a.png
[http_orchome.com_6]: http://orchome.com/6