Kafka 有多个broker的例子

向右看齐 2023-10-17 22:31 11阅读 0赞

\-- Start

## 1. 启动 ZooKeeper ##

首先还是启动 ZooKeeper。

1.  set KAFKA\_HOME=D:/0\_Shangbo/App/kafka/kafka\_2.12\-1.1.0
2.  cd %KAFKA\_HOME%/bin/windows
3.  zookeeper-server-start.bat %KAFKA\_HOME%/config/zookeeper.properties

## 2. 启动 Kafka borker ##

首先把 config 目录下的 server.properties 复制两份，分别命名为 server-1.properties 和 server-2.properties，然后修改这两个文件的下列属性，确保 log 目录存在哦。

server-1.properties:

1.  broker.id=1
2.  listeners=PLAINTEXT:*//:9093*
3.  log.dirs=D:/0\_Shangbo/App/kafka/data/kafka/broker1

server-2.properties:

1.  broker.id=2
2.  listeners=PLAINTEXT:*//:9094*
3.  log.dirs=D:/0\_Shangbo/App/kafka/data/kafka/broker2

其中 broker.id 用来唯一标识每一个 broker，由于我们是在同一台机器上运行三个broker， 所以我们也需要修改一下listeners  
和 log.dirs 属性。当然该文件还有好多其他属性我们可以进行设置，而且对每个属性都进行了说明，你可以仔细的看一下这个属性文件。

现在我们有三个 broker，分别在三个命令行中启动这三个 broker。

1.  set KAFKA\_HOME=D:/0\_Shangbo/App/kafka/kafka\_2.12\-1.1.0
2.  cd %KAFKA\_HOME%/bin/windows
3.  kafka-server\-start.bat %KAFKA\_HOME%/config/server.properties

1.  set KAFKA\_HOME=D:/0\_Shangbo/App/kafka/kafka\_2.12\-1.1.0
2.  cd %KAFKA\_HOME%/bin/windows
3.  kafka-server\-start.bat %KAFKA\_HOME%/config/server\-1.properties

1.  set KAFKA\_HOME=D:/0\_Shangbo/App/kafka/kafka\_2.12\-1.1.0
2.  cd %KAFKA\_HOME%/bin/windows
3.  kafka-server\-start.bat %KAFKA\_HOME%/config/server\-2.properties

## 3.创建 topic ##

新打开一个命令提示符，下面的命令创建了一个名为 topic1 的topic。

1.  set KAFKA\_HOME=D:/0\_Shangbo/App/kafka/kafka\_2.12\-1.1.0
2.  cd %KAFKA\_HOME%/bin/windows
3.  kafka-topics.bat *--create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic topic1*

你有没有想过类似 --create 的这些参数是什么意思呢？在哪里查询它们的意思呢？试一试下面的命令吧。

kafka-topics.bat

也许你已经看了这些参数的意思，但是不一定能理解replication-factor 和 partitions 的真正含义。现在让我们来看看主题(topic)，分区(partition)和日志(log)的关系，你可以把 topic 理解为文件夹，partition 为 topic 下面的子文件夹，log 在 partition 下，而消息保存在 log 中。所以上面的命令中--partitions 3 的意思是在 topic1下创建3个分区。那--replication-factor 2 是什么意思呢？它的意思是将任意一个分区复制到2个broker 上，这样如果一个broker 挂了，我们仍然可以从另一个broker 上获取到消息，那如果有2个broker挂了呢？呵呵，那就真挂了。怎么样？还没理解？不要紧，看看下面的目录结构你就知道了。

![20180609165831414][]

等过了一段时间，你可能已经忘记了topic1 是如何定义的了，你想查看它的详情，试试下面的命令吧。

kafka-topics.bat --describe --zookeeper localhost:2181 --topic topic1

上面的命令得到如下的输出：

1.  Topic:topic1 PartitionCount:3 ReplicationFactor:2 Configs:
2.  Topic: topic1 Partition: 0 Leader: 0 Replicas: 0,2 Isr: 0,2
3.  Topic: topic1 Partition: 1 Leader: 1 Replicas: 1,0 Isr: 1,0
4.  Topic: topic1 Partition: 2 Leader: 2 Replicas: 2,1 Isr: 2,1

第一行是对 topic 的概述。接下来的三行是对每个分区的描述。

每一个分区都有一个broker为leader，它负责该分区内的所有读写操作，其他broker 被动的复制leader broker。如果leader broker 挂了，那么其他broker中的一个将自动成为该分区的新leader。

Replicas: 0,1 表示该分区保存在 broker 0 和 broker 1下。

Isr: 0,1 表示当前我们可以在 broker 0 和 broker 1 下访问该分区，如果 broker 0挂了，那就像这样子了 Isr: 1

## 4.发送消息 ##

下面的命令发送一条消息到 topic1。

1.  set KAFKA\_HOME=D:/0\_Shangbo/App/kafka/kafka\_2.12\-1.1.0
2.  cd %KAFKA\_HOME%/bin/windows
3.  kafka-console-producer.bat *--broker-list localhost:9092 --topic topic1*
4.  This is a message

## 5. 接收消息 ##

下面的命令从 topic1 中接收消息。

1.  set KAFKA\_HOME=D:/0\_Shangbo/App/kafka/kafka\_2.12\-1.1.0
2.  cd %KAFKA\_HOME%/bin/windows
3.  kafka-console\-consumer.bat --bootstrap-server localhost:9092 \--topic topic1 --from\-beginning

## 6. 关闭 broker 1 ##

现在我们将启动broker 1的命令窗口关闭。然后使用下面的命令再次查看一下 topic1 的状态。

kafka-topics.bat --describe --zookeeper localhost:2181 --topic topic1

1.  Topic:topic1 PartitionCount:3 ReplicationFactor:2 Configs:
2.  Topic: topic1 Partition: 0 Leader: 0 Replicas: 0,2 Isr: 0,2
3.  Topic: topic1 Partition: 1 Leader: 0 Replicas: 1,0 Isr: 0
4.  Topic: topic1 Partition: 2 Leader: 2 Replicas: 2,1 Isr: 2

你可以再试着发送一条消息，看看还能否接收到消息。

你也可以再关闭一个broker，然后试着发送一条消息，看看有什么结果。

\-- [**更多参见：Kafka 精萃**][Kafka]  
\-- 声 明：转载请注明出处  
\-- Last Edited on 2018-06-09  
\-- Written by ShangBo on 2014-09-03  
\-- End

[20180609165831414]: https://img-blog.csdn.net/20180609165831414
[Kafka]: http://blog.csdn.net/shangboerds/article/details/39033267