windows 单机版 kafka 搭建

怼烎@ 2022-04-06 18:17 330阅读 0赞

最近项目中使用了kafka作为消息中间件进行服务间数据通信;

公司里的kafka集群是5台机器的,5台zookeeper做负载均衡;但是莫名的总有一个节点会挂掉..由于我还很菜..所以就本地搭个单机版的 kafka自己玩玩...

kafka 2.11的安装包就留个百度云地址了.....

[https://pan.baidu.com/s/1L\_9bbieTSsjWAe\_3JLzN3w][https_pan.baidu.com_s_1L_9bbieTSsjWAe_3JLzN3w]

自取

zookeeper3.4.10的安装包:

[https://pan.baidu.com/s/1UVZTrtsWbIybMlWCUA4E2A][https_pan.baidu.com_s_1UVZTrtsWbIybMlWCUA4E2A]

Kafka的运行依赖于Zookeeper，所以在运行Kafka之前我们需要安装并运行Zookeeper ,而这一整套环境的基础环境就是JDK.我这里环境用的是jdk8

![20181224193200517.png][]

## 安装zookeeper ##

*  解压文件（本文解压到 D:\\zookeeper-3.4.8） 
 *  打开D:\\zookeeper-3.4.8\\conf，把zoo\_sample.cfg重命名成zoo.cfg 
 *  从文本编辑器里打开zoo.cfg 
 *  修改dataDir和dataLogDir保存路径

dataDir=D:\data\logs\zookeeper 
    dataLogDir=D:\data\logs\zookeeper

只有一个路径的时候,改一个也是可以的;

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lvdW5nTGVlMTY_size_16_color_FFFFFF_t_70][]

*  添加如下系统变量

ZOOKEEPER_HOME: D:\zookeeper-3.4.8

Path: 在现有的值后面添加 `;%ZOOKEEPER_HOME%\bin;`

![20181224193827993.png][]

*  运行Zookeeper: 打开cmd然后执行`zkserver` 命令。如果打印以下信息则表示zookeeper已经安装成功并运行在2181端口

![20181224193926555.png][]

此时,zookeeper安装成功

## 安装kafka ##

*  解压文件（本文解压到 D:\\kafka\_2.11-0.10.2.0） 
 *  打开D:\\kafka\_2.11-0.10.2.0\\config\\ server.properties 
 *  把 log.dirs的值改成 log.dirs=D:\\data\\logs\\kafka 
 *  ![20181224194207634.png][]
 *  可以更改zk的配置
 *  ![2018122419425275.png][]
 *   D:\\kafka\_2.11-0.10.2.0\\bin文件夹下的.sh命令脚本是在shell下运行的，此文件夹下还有个 windows文件夹，里面是windows下运行的.bat命令脚本 
 *  在D:\\kafka\_2.11-0.10.2.0文件夹中”Shift+鼠标右键”点击空白处打开命令提示窗口 
 *  输入并执行一下命令以打开kafka:
 *  ![20181224194732262.png][]
 *  kafka启动成功:
 *  ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lvdW5nTGVlMTY_size_16_color_FFFFFF_t_70 1][]

注意打开的zk和kafka是两个不同的cmd,所以都不能关.....

**然后再开cmd,的生产,消费都是要单独开cmd;**

常用的命令如下:

#启动zk
    zkserver
    
    
    #启动kafka
    .\bin\windows\kafka-server-start.bat .\config\server.properties #根据自己的当前位置
    
    #创建test主题的topic
    .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
    
    # 生产test主题的kafka消息
    .\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test
    
    
    #以默认用户组消费test主题的消息
    .\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic test
    
    #查看当前list
    .\kafka-topics.bat --zookeeper localhost:2181 --list

在开启的producer cmd中生产数据在,consumer中就可以及时收到信息;

![20181224195551358.png][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lvdW5nTGVlMTY_size_16_color_FFFFFF_t_70 2][]

安装常见问题:

启动kafka时,报错:

# \[Kafka\]\[错误: 找不到或无法加载主类 Files\\Java\\jdk1.8.0\_101\\lib\\dt.jar;C:\\Program\] #

需要修改kafka\_2.12-1.0.0\\bin\\windows\\kafka-run-class.bat文件。

具体修改内容是，将：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %

修改为:

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %

***%CLASSPATH%要用双引号***

[https_pan.baidu.com_s_1L_9bbieTSsjWAe_3JLzN3w]: https://pan.baidu.com/s/1L_9bbieTSsjWAe_3JLzN3w
[https_pan.baidu.com_s_1UVZTrtsWbIybMlWCUA4E2A]: https://pan.baidu.com/s/1UVZTrtsWbIybMlWCUA4E2A
[20181224193200517.png]: /images/20220406/6c3607362f4443609cbf12da8b4f14f6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lvdW5nTGVlMTY_size_16_color_FFFFFF_t_70]: /images/20220406/9e242779415f482192d6d20d8f07f038.png
[20181224193827993.png]: /images/20220406/25d0da5a970d4564be4af443fee4e016.png
[20181224193926555.png]: /images/20220406/342b3a9425574c9abc5774c8192fd04f.png
[20181224194207634.png]: /images/20220406/ec56133074d341d2ae573d06716db4da.png
[2018122419425275.png]: /images/20220406/a9cdfaeabf16422cbf0a9d155713e47e.png
[20181224194732262.png]: /images/20220406/1504d763314b497ea98600f56a126485.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lvdW5nTGVlMTY_size_16_color_FFFFFF_t_70 1]: /images/20220406/2422ecff43ae468d8d4e048009f62258.png
[20181224195551358.png]: /images/20220406/fd473a97ad104f6f9513b66e0ce0ea45.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1lvdW5nTGVlMTY_size_16_color_FFFFFF_t_70 2]: /images/20220406/630fc13cd443498d910ceb1636e3777b.png