Linux系统下kafka集群环境的搭建

叁歲伎倆 2022-04-16 06:36 211阅读 0赞

1：搭建kafka集群环境需要安装JDK、Zookeeper集群环境

JDK的安装可以参考[https://mp.csdn.net/postedit/84196901][https_mp.csdn.net_postedit_84196901]这篇博客

Zookeeper集群环境的安装可以参考[https://mp.csdn.net/postedit/84201320][https_mp.csdn.net_postedit_84201320]这篇博客，具体的步骤在博客上面有详细的说明

2：kafka的安装和配置

kafka下载地址：[https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka\_2.11-1.0.0.tgz][https_www.apache.org_dyn_closer.cgi_path_kafka_1.0.0_kafka_2.11-1.0.0.tgz]

\#我的目录统一放在/opt

\#首先创建kafka文件夹

cd /opt

mkdir kafka  创建kafka文件夹

cd kafka\\

mkdir kafkalogs      \#创建kafka消息目录，主要存放kafka消息，对应server1服务器

mkdir kafkalogs1    \#创建kafka消息目录，主要存放kafka消息，对应server2服务器

mkdir kafkalogs2    \#创建kafka消息目录，主要存放kafka消息，对应server3服务器

\#解压kafka\_2.11-1.0.0.tgz到kafka目录下

tar -zvxf kafka\_2.11-1.0.0.tgz

\#如果是三台真实的linux服务器,只需要将kafka\_2.11-1.0.0.tgz解压到三台服务器的/opt/kafka目录下,再新建kafkalogs即可

修改kafka配置文件

\#进入到config目录

cd /opt/kafka/kafka\_2.11-1.0.0/config/

我们可以看到目录下有zookeeper的一些文件,这是kafka内置的zookeeper集群,我们可以使用它来直接启动，但建议使用独立的zookeeper集群。

-rw-r--r--. 1 root root  906 Oct 27 08:56 connect-console-sink.properties
    -rw-r--r--. 1 root root  909 Oct 27 08:56 connect-console-source.properties
    -rw-r--r--. 1 root root 5807 Oct 27 08:56 connect-distributed.properties
    -rw-r--r--. 1 root root  883 Oct 27 08:56 connect-file-sink.properties
    -rw-r--r--. 1 root root  881 Oct 27 08:56 connect-file-source.properties
    -rw-r--r--. 1 root root 1111 Oct 27 08:56 connect-log4j.properties
    -rw-r--r--. 1 root root 2730 Oct 27 08:56 connect-standalone.properties
    -rw-r--r--. 1 root root 1221 Oct 27 08:56 consumer.properties
    -rw-r--r--. 1 root root 4727 Oct 27 08:56 log4j.properties
    -rw-r--r--. 1 root root 1919 Oct 27 08:56 producer.properties
    -rw-r--r--. 1 root root  173 Jan  7 05:54 server-1.properties
    -rw-r--r--. 1 root root  173 Jan  7 05:56 server-2.properties
    -rw-r--r--. 1 root root  172 Jan  7 05:55 server.properties
    -rw-r--r--. 1 root root 1032 Oct 27 08:56 tools-log4j.properties
    -rw-r--r--. 1 root root 1023 Oct 27 08:56 zookeeper.properties

我们主要修改 server.properties 这个文件即可

broker.id=0
    listeners=PLAINTEXT://127.0.0.1:9092
    port=9092
    host.name=127.0.0.1
    log.dirs=/opt/kafka/kafkalogs
    zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

因为我是在一台服务器搭建，可以将server.properties复制两份，分别命名为server1.properties，server2.properties，来模拟三台服务器。如果是在三台不同服务器，则不需要复制多份，只需要在三台服务器分别对server.properties进行配置即可.

#在config目录下复制两份server.properties，并命名 server-1.propertis， server-2.propertis
    
    cp server.properties server-1.propertis
    
    cp server.properties server-2.propertis

修改server1.properties如下:

broker.id=1
    listeners=PLAINTEXT://127.0.0.1:9093
    port=9093
    host.name=127.0.0.1
    log.dirs=/opt/kafka/kafkalogs1
    zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

修改server2.properties如下:

broker.id=2
    listeners=PLAINTEXT://127.0.0.1:9094
    port=9094
    host.name=127.0.0.1
    log.dirs=/opt/kafka/kafkalogs2
    zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183

启动kafka集群并测试

1、启动服务

#从后台启动Kafka集群（3台都需要启动）
    
    #进入到kafka的根目录 
    cd /opt/kafka/kafka_2.11-1.0.0
    
    #模拟启动三个配置文件,代表三台服务器
    ./bin/kafka-server-start.sh -daemon config/server.properties
    ./bin/kafka-server-start.sh -daemon config/server1.properties
    ./bin/kafka-server-start.sh -daemon config/server2.properties
    
    # 启动命令中的 -daemon 表示以守护进程的方式启动

2、测试kafka

创建主题:

#创建一个test主题，分区数为3,备份数为3
    #在kafka根目录执行下面命令
    bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 3 --topic test

启动生产者:

#kafka根目录执行，启动一个生产者
    bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test

不要关闭生产者窗口，再打开一个新窗口，进入到kafka根目录，启动消费者:

#启动消费者命令
    bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --topic test --from-beginning

生产者发送消息列表：

![20181118221311480.png][]

消费者接收信息列表：

![20181118221355546.png][]

在生产者发送一条消息，查看消费者是否有接收成功。接收成功后kafka集成环境搭建完成。

[https_mp.csdn.net_postedit_84196901]: https://mp.csdn.net/postedit/84196901
[https_mp.csdn.net_postedit_84201320]: https://mp.csdn.net/postedit/84201320
[https_www.apache.org_dyn_closer.cgi_path_kafka_1.0.0_kafka_2.11-1.0.0.tgz]: https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz
[20181118221311480.png]: /images/20220416/560cf035d9b54c01940d2537041f4fb1.png
[20181118221355546.png]: /images/20220416/b618a482d6fa43a09eb4fdb58a4c84cb.png