Windows OS上安装运行Apache Kafka教程

蔚落 2022-08-21 14:42 203阅读 0赞

下面是分步指南，教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka。

### 简介 ###

本文讲述了如何在Windows OS上配置并启动Apache Kafka，这篇指南将会指导你安装Java和Apache Zookeeper。   
Apache Kafka是一个快速可扩展的消息队列，能够应对繁重的读写负载，即IO相关工作。更多信息请参见[http://kafka.apache.org][http_kafka.apache.org]。由于Zookeeper能提供可靠的分布式协调服务，Apache Kafka需要运行一个Zookeeper实例。更多Zookeeper的相关信息请查看[https://zookeeper.apache.org/][https_zookeeper.apache.org]。

关于在Windows安装Kafka的具体步骤，可以查看这个视频：[https://youtu.be/OJKesEpO6ok][https_youtu.be_OJKesEpO6ok]

### 下载所需文件 ###

*  根据系统OS和CPU架构，在这里下载Server JRE [http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html][http_www.oracle.com_technetwork_java_javase_downloads_jre8-downloads-2133155.html]
 *  在这里下载并安装7-zip [http://www.7-zip.org/download.html][http_www.7-zip.org_download.html]
 *  在这里下载Zookeeper，并用7-zip解压 [http://zookeeper.apache.org/releases.html][http_zookeeper.apache.org_releases.html]
 *  在这里下载Kafka并用7-zip解压 [http://kafka.apache.org/downloads.html][http_kafka.apache.org_downloads.html]

针对此教程，我们将Zookeeper与Kafka解压到C盘，不过也可以选择其他位置。这里我们要使用完全的zookeeper，而不是用Kafka打包的那个，因为这是一个单节点的Zookeeper实例。也可以运行打包了zookeeper的Kafka，位置在\\kafka\\bin\\windows库中。

### 安装 ###

A. JDK安装

1.启动JRE安装，选中复选框“修改目标路径”，然后点击安装。

![图片描述][20160125150209055]

2.修改安装目录，文件夹名称中不能有空格，例如：C:\\Java\\jre1.8.0\_xx\\（默认情况下是C:\\Program Files\\Java\\jre1.8.0\_xx），然后点击下一步。   
3.现在点击控制面板->系统->高级系统设置->环境变量，打开系统环境变量对话框。   
4.点击用户变量中的新用户变量按钮，然后在变量名称那里输入JAVA\_HOME，并将自定义的jre路径填入变量值。如下图所示：

![图片描述][20160125150241544]

Java路径与版本可能会根据所使用Kafka的版本而有所改变

5.现在点击ok。   
6.刚才打开的“环境变量“对话框中有“系统变量”一栏，在其中寻找路径变量。   
7.编辑路径与类型“;%JAVA\_HOME%\\bin”，如下图：

![图片描述][20160125150514842]

8.确认Java安装打开cmd，输入类型“java –version”，应该能够看到刚刚安装的java版本。

![图片描述][20160125150539498]

如果命令行提示与上图类似，请继续。否则，需要重新检查安装版本是否与OS架构匹配（x86, x64），以及环境变量路径是否正确。

B. Zookeeper安装

1.进入Zookeeper设置目录，比如C:\\zookeeper-3.4.7\\conf   
2. 将“zoo\_sample.cfg”重命名为“zoo.cfg”。   
3. 在任意文本编辑器（如notepad）中打开zoo.cfg，我个人更喜欢notepad++。   
4. 找到并编辑dataDir=/tmp/zookeeper to :\\zookeeper-3.4.7\\data   
5. 与Java中的做法类似，我们在系统环境变量中添加：   
　　a. 在系统变量中添加ZOOKEEPER\_HOME = C:\\zookeeper-3.4.7   
　　b. 编辑系统变量，命名为路径 System Variable%ZOOKEEPER\_HOME%\\bin;   
6. 在zoo.cfg文件中修改默认的Zookeeper端口（默认端口2181）。   
7. 打开新的cmd，输入zkserver，运行Zookeeper。   
8. 命令行提示如下：

![图片描述][20160125150655967]

恭喜，Zookeeper已经完成并在端口2181运行。

C. 安装Kafka

1. 进入Kafka配置目录，例如C:\\kafka\_2.11-0.9.0.0\\config   
2. 编辑文件“server.properties”   
3. 找到并编辑“log.dirs=/tmp/kafka-logs” to “log.dir= C:\\kafka\_2.11-0.9.0.0\\kafka-logs”   
4. 如果Zookeeper在某些其他的机器或集群上运行，可以将“zookeeper.connect:2181”修改为自定义IP与端口。在这个演示中我们使用了同一个机器，因此没必要做修改。文件中的Kafka端口和broker.id也是可以配置的。其他设置不变。   
5. Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181。

D. 运行Kafka服务器

重要：请确保在启动Kafka服务器前，Zookeeper实例已经准备好并开始运行。

1.进入Kafka安装目录C:\\kafka\_2.11-0.9.0.0\\   
2.按下Shift+右键，选择“打开命令窗口”选项，打开命令行。   
3.现在输入.\\bin\\windows\\kafka-server-start.bat .\\config\\server.properties 并回车。

.\bin\windows\kafka-server-start.bat .\config\server.properties

![图片描述][20160125151046766]

4.如果一切正常，命令行应当是这样：

![图片描述][20160125151154598]

5.现在Kafka已经准备好并开始运行，可以创建主题来存储消息了。我们也能从Java/Scala代码中，或直接从命令行中生成或使用数据。

E. 创建主题

1. 现在创建主题，命名为“test”，replication factor=1（因为只有1个Kafka服务器在运行）。如果集群中所运行的Kafka服务器不止1个，可以相应增加replication-factor，从而提高数据可用性和系统容错性。   
2. 在C:\\kafka\_2.11-0.9.0.0\\bin\\windows打开新的命令行。   
3. 输入下面的命令，回车：

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

![图片描述][20160125151304251]

F. 创建Producer及Consumer来测试服务器。

1.在C:\\kafka\_2.11-0.9.0.0\\bin\\windows打开新的命令行。   
2.输入以下命令，启动producer：

kafka-console-producer.bat --broker-list localhost:9092 --topic test

3.在同样的位置C:\\kafka\_2.11-0.9.0.0\\bin\\windows再次打开新的命令行。   
4.现在输入下列命令启动consumer：

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

5.现在有两个命令行窗口，如下图：

![图片描述][20160125151420382]

6.在producer命令行中任意输入内容，回车；在其他consumer命令行中能看到相应消息。

![图片描述][20160125151443939]

7.如果能够将消息推送到consumer端并显示出来的话，Kafka安装就完成了。

### 一些有用的命令 ###

1.列出主题：kafka-topics.bat –list –zookeeper localhost:2181   
2.描述主题：kafka-topics.bat –describe –zookeeper localhost:2181 –topic \[Topic Name\]   
3.从头读取消息：kafka-console-consumer.bat –zookeeper localhost:2181 –topic \[Topic Name\] –from-beginning   
4.删除主题：kafka-run-class.bat kafka.admin.TopicCommand –delete –topic \[topic\_to\_delete\] –zookeeper localhost:2181

[http_kafka.apache.org]: http://kafka.apache.org/
[https_zookeeper.apache.org]: https://zookeeper.apache.org/
[https_youtu.be_OJKesEpO6ok]: https://youtu.be/OJKesEpO6ok
[http_www.oracle.com_technetwork_java_javase_downloads_jre8-downloads-2133155.html]: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html
[http_www.7-zip.org_download.html]: http://www.7-zip.org/download.html
[http_zookeeper.apache.org_releases.html]: http://zookeeper.apache.org/releases.html
[http_kafka.apache.org_downloads.html]: http://kafka.apache.org/downloads.html
[20160125150209055]: /images/20220724/40aee4687e7644e9a22e334b99948b03.png
[20160125150241544]: /images/20220724/e172b9b24d5c461bba08d9e53b3114e2.png
[20160125150514842]: /images/20220724/d65cd3a692ee4abca4015d95e1258f83.png
[20160125150539498]: /images/20220724/752ecebb7ad14af0927d0d1ed7a1b616.png
[20160125150655967]: /images/20220724/a57e8cf0cc254e5d86d731642d9c5a8e.png
[20160125151046766]: /images/20220724/1f2b70d61842480d8cd857a4c352cf99.png
[20160125151154598]: /images/20220724/8f0554049a4341a7a05ab70541bac800.png
[20160125151304251]: /images/20220724/5f1ffcf7feaf4b96bf3610d59142d24b.png
[20160125151420382]: /images/20220724/53891b11c7364b4bbab6f4e6d35e24b3.png
[20160125151443939]: /images/20220724/ad4faac8154e404983757ff81cb1a881.png