kafka_安装（集群模式）

比眉伴天荒 2022-05-24 03:28 210阅读 0赞

前面在centos2上已装了kafka，现将安装包拷贝到centos3、centos4的/opt/kafka中。解压之。

修改centos3配置文件：config/server.properties

<table> 
 <tbody> 
 <tr> 
 <td>参数</td> 
 <td>默认值</td> 
 <td>参考数值</td> 
 </tr> 
 <tr> 
 <td>broker.id</td> 
 <td>0</td> 
 <td>1</td> 
 </tr> 
 <tr> 
 <td>port</td> 
 <td>9092</td> 
 <td>9093</td> 
 </tr> 
 <tr> 
 <td>log.dirs</td> 
 <td>/tmp/kafka-logs</td> 
 <td>/opt/kafka/kafka_2.12-1.0.0/logs</td> 
 </tr> 
 <tr> 
 <td>zookeeper.connect</td> 
 <td>localhost:2181</td> 
 <td>centos2:2181</td> 
 </tr> 
 </tbody> 
</table>

修改centos4配置文件：config/server.properties

<table> 
 <tbody> 
 <tr> 
 <td>参数</td> 
 <td>默认值</td> 
 <td>参考数值</td> 
 </tr> 
 <tr> 
 <td>broker.id</td> 
 <td>0</td> 
 <td>2</td> 
 </tr> 
 <tr> 
 <td>port</td> 
 <td>9092</td> 
 <td>9094</td> 
 </tr> 
 <tr> 
 <td>log.dirs</td> 
 <td>/tmp/kafka-logs</td> 
 <td>/opt/kafka/kafka_2.12-1.0.0/logs</td> 
 </tr> 
 <tr> 
 <td>zookeeper.connect</td> 
 <td>localhost:2181</td> 
 <td>centos2:2181</td> 
 </tr> 
 </tbody> 
</table>

各机器上启动kafka

bin/kafka-server-start.sh config/server.properties &

启动后先查看topic：

bin/kafka-topics.sh --list --zookeeper centos2:2181

三台机器上都输出了：kafkademo（上面单机时创建的topic）

**创建topic**：一个分区两个副本

bin/kafka-topics.sh --create --zookeeper centos2:2181 --replication-factor 2 --partitions 1 --topic kafkaClusterDemo

注：副本数要小于broker数，否则会报错：

ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 3 larger than available brokers: 2.

**生产消息：**

在centos2机器上创建一个生产者：

bin/kafka-console-producer.sh --broker-list centos2:9093 --topic kafkaClusterDemo

**消费者：**

在centos3上创建一个消费者:

bin/kafka-console-consumer.sh --zookeeper centos2:2181 --topic kafkaClusterDemo \--from-beginning

bin/kafka-topics.sh --describe --zookeeper centos2:2181

![70][]

在生产者输入消息，在消费者上可以看到消息输出

Kill掉centos2上的kafka

![70 1][]

再生产消息，在消费者界面依然可以收到消息，说明集群运行成功，则宕掉一台机器也OK。

再停掉centos3上的kafka，消息消费者界面报错：

![70 2][]

![70 3][]

但是断续生产消息，消费者还能正常获取，说明集群还能正常工作。

[70]: /images/20220524/b28527e55413408d99b256b77447d316.png
[70 1]: /images/20220524/d399161517a74acd8f1b39707361150a.png
[70 2]: /images/20220524/a44b143b05634c8988dcf5c16329811a.png
[70 3]: /images/20220524/f29f8237857e490dbaf793a18435f555.png