kafka集群的安装（三）----kafka集群

Bertha 。 2022-05-18 10:19 414阅读 0赞

# 一、kafka集群 #

##        1.1：准备和部署 ##

书接前文  [kafka官网下载地址][kafka]  还是老套路，下载kafka，上传，解压，

我的部署路径为/usr/local/kafka\_1.1

这里不细说了

##        1.2：添加环境变量 ##

直接上结果吧，当你按照前两篇配置完，外加这里的kafka的配置后，你的profile文件中大致是这样

![70][]

##        1.3：修改配置 ##

每次，配置文件都是最重要的，我们进入kafka的config目录，下面有一堆配置文件，其实我们关心的是以下几个

![70 1][]

上图中标红的那几个，我们需要修改，具体见下面

***server.properties需要添加和修改的字段分别为：***

broker.id：唯一需要注意的就是，保证每个kafka工程的这个broker.id的值是唯一的即可

host.name：我写的是ip地址，若是伪分布式，那么每个kafka工程的这里都写成相同的也可以

log.dirs：日志的路径，如果写了一个不存在的路径，记得要创建

zookeeper.connect：举例：xxCentos7One:2181,xxCentos7Two:2181,xxCentos7Three:2181

可以写主机名，也可以写ip但是要加上端口号

注意，这三台服务器的服务器名代表的是zookeeper所在的服务器，而非kafka所在服务器

生产环境建议zookeeper与kafka部署在不同的服务器更好一些。

其他的字段使用默认值即可

***producer******.properties需要添加和修改的字段分别为：***

bootstrap.servers：举例：xxCentos7One:9092,xxCentos7Two:9092,xxCentos7Three:9092

这里写的可以是主机名或ip

***consumer******.properties需要添加和修改的字段分别为：***

bootstrap.servers：举例：xxCentos7One:9092,xxCentos7Two:9092,xxCentos7Three:9092

这里写的可以是主机名或ip

一定要把这三个配置文件同步到每一个kafka的工程中，才会生效

保证每个kafka工程的broker.id不同即可

##        1.4：启动 ##

一般我们都希望以后台守护进程的方式运行kafka，那么可以用类似下面的命令来操作

./kafka-server-start.sh -daemon ../config/server.properties

或者

./kafka-server-start.sh ../config/server.properties &  也没问题

到这里，应该就可以正常运行了，然后执行jps命令，来查看你的进程如下图所示

![70 2][]

##        1.5：测试与效果 ##

创建一个名称为test-topic-7的Topic，7个分区，并且复制因子为3，执行如下命令：

./kafka-topics.sh --create --zookeeper xxCentos7One:2181,xxCentos7Two:2181,xxCentos7Three:2181 --replication-factor 3 --partitions 7 --topic test-topic-7

查看刚创建的topic

./kafka-topics.sh --describe --zookeeper xxCentos7One:2181,xxCentos7Two:2181,xxCentos7Three:2181 --topic test-topic-7

若不知道有哪些topic，可以这么看

./kafka-topics.sh --describe --zookeeper xxCentos7One:2181,xxCentos7Two:2181,xxCentos7Three:2181

当然，在创建的时候，完全可以不用添加那么多的服务器的名字，只向某一个服务器上创建即可

即使这样创建完毕，其他的那些kafka的服务器也是可以看到结果的，那是因为，你在配置producer和consumer的时候

已经把那些服务器的名字加上了，那么kafka作为一个集群而言，一定会把这些kafka的服务器都充分利用上的，如下图

![70 3][]

*  leader：负责处理消息的读和写，leader是从所有节点中随机选择的.
 *  replicas：列出了所有的副本节点，不管节点是否在服务中.
 *  isr：是正在服务中的节点.

同时，与创建主题是类似的逻辑，向一个kafka服务器创建及消费和向多个kafka服务器创建及消费是一样的，如下图

多播创建及消费

![70 4][]

![70 5][]

单播创建及消费

![70 6][]

![70 7][]

##       1.6：数据迁移 ##

當我們覺得原有partition不夠用的時候，可以重新分區來加入新的分區，命令如下：

./kafka-topics.sh --zookeeper xxCentos7One:2181 --alter --topic test-topic --partitions 10

上文已经说过，因为在集群中，所以我们仅需要对集群中的一个broker进行操作即可，不必显示指定其他的broker的名称，因此我们忽略“xxCentos7Two:2181,xxCentos7Three:2181”，下同

雖然我們新增了幾個分區，但是對不起，新的分區還不能幹活兒，需要用“kafka-reassign-partitions.sh”来迁移数据。其原理在于，kafka的发送数据会持久化到磁盘中（这点与RabbitMq不同，后者是放到内存，阅后即焚的）。也就是持久化到partition中的，我们需要把之前各个partition中磁盘的数据进行迁移和重分布。

1.6.1：制定迁移计划，创建test-topic.json

{
    "topics": [{"topic": "test-topic"}], //如果有多个topic需要迁移，在这里指定
    "version": 1
    }

然后执行如下语句，目的是将test-topic.json里的topic迁移到broker-list列表里列的broker上

./bin/kafka-reassign-partitions.sh --zookeeper xxCentos7One:2181 --topics-to-move-json-file test-topic.json --broker-list "0,1,2,3,4,5,6,7,8,9" --generate

因为我们要扩展到是个partition，所以我们在上面的命令中写了从0到9这十个数字。（这部分dark还没有亲测，具体写几个数字，扩容前与扩容后有什么区别，后续会补充。）这样会得到一个执行计划，如下所示

Current partition replica assignment   //当前的分区情况
    {"version":1, "partitions":[....] } 
    
    Proposed partition reassignment configuration   //计划的分区情况
    {"version":1, "partitions":[.....] }

将上述的内容保存为一个new.json文件。以备使用

1.6.2：迁移，执行下面的命令

./kafka-reassign-partitions.sh --zookeeper xxCentos7One:2181 --reassignment-json-file new.json --execute

1.6.3：验证结果，执行下面的命令

./kafka-reassign-partitions.sh --zookeeper xxCentos7One:2181 --reassignment-json-file new.json --verify

##        1.7：补充信息 ##

上面的producer和consumer两个配置文件中的bootstrap.server对应的值可以不必修改或写成ip也可以正常运行

但是带来的后果就是，如果你用java端访问的时候，就必须要写ip了，即使你在你的java端的服务器上配置了hosts也没用

这是dark亲踩的一个坑。。。。

##        1.7：参考 ##

[Kafka集群操作指南][Kafka]

[Kafka使用入门教程--搭建Kafka运行环境][Kafka_--_Kafka]

[kafka]: http://kafka.apache.org/downloads
[70]: /images/20220518/44a5c68bdf8346429862614fa58cbe64.png
[70 1]: /images/20220518/f94b5d1fe78a4759b4c78e4bddb0f248.png
[70 2]: /images/20220518/df6f03c51cbe4bedae7686364fa14166.png
[70 3]: /images/20220518/b2fe0bb0c4e7417db396cd44a272a2bf.png
[70 4]: /images/20220518/dd9c9c5a3f754f349461a5e7f20a7695.png
[70 5]: /images/20220518/5788d9e39883415984f1a75fae11b2be.png
[70 6]: /images/20220518/ea5bd695c37a4848bc95d5bf8a185873.png
[70 7]: /images/20220518/6913c45d3fd244da8a7d52a456f1110b.png
[Kafka]: http://blog.jobbole.com/99195/
[Kafka_--_Kafka]: https://www.linuxidc.com/Linux/2014-07/104470p2.htm