Kafka入门-windows安装测试

深碍√TFBOYSˉ_ 2022-05-25 11:39 206阅读 0赞

## 安装JDK ##

## 二、安装zookeeper ##

kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。broker会在zookeeper注册并保持相关的元数据（topic，partition信息等）更新。

而客户端会在zookeeper上注册相关的watcher。一旦zookeeper发生变化，客户端能及时感知并作出相应调整。这样就保证了添加或去除broker时，各broker间仍能自动实现负载均衡。

下载安装包：[http://zookeeper.apache.org/releases.html\#download][http_zookeeper.apache.org_releases.html_download]

下载后解压到一个目录：

*  1、进入Zookeeper设置目录，笔者D:\\Java\\Tool\\zookeeper-3.4.6\\conf
 *  2、将“zoo\_sample.cfg”重命名为“zoo.cfg”
 *  3、在任意文本编辑器（如notepad）中打开zoo.cfg
 *  4、找到并编辑dataDir=D:\\\\Java\\\\Tool\\\\zookeeper-3.4.6\\\\data
 *  5、与Java中的做法类似，我们在系统环境变量中添加：   
    
    
     *  a、在系统变量中添加ZOOKEEPER\_HOME = D:\\Java\\Tool\\zookeeper-3.4.6
     *  b、编辑path系统变量，添加为路径%ZOOKEEPER\_HOME%\\bin;
 *  6、在zoo.cfg文件中修改默认的Zookeeper端口（默认端口2181）
 *  7、打开新的cmd，输入zkserver，运行Zookeeper。
 *  8、命令行提示如下：说明本地Zookeeper启动成功

...
    ...
    2017-04-26 14:18:53,364 [myid:] - INFO  [main:Environment@100] - Server environment:user.dir=E:\zookeeper-3.4.8
    2017-04-26 14:18:53,370 [myid:] - INFO  [main:ZooKeeperServer@787] - tickTime set to 2000
    2017-04-26 14:18:53,370 [myid:] - INFO  [main:ZooKeeperServer@796] - minSessionTimeout set to -1
    2017-04-26 14:18:53,371 [myid:] - INFO  [main:ZooKeeperServer@805] - maxSessionTimeout set to -1
    2017-04-26 14:18:53,415 [myid:] - INFO  [main:NIOServerCnxnFactory@89] - binding to port 0.0.0.0/0.0.0.0:2181

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7

## 三、安装与运行Kafka ##

下载[http://kafka.apache.org/downloads.html][http_kafka.apache.org_downloads.html]。注意要下载二进制版本的

下载后解压到任意一个目录，笔者的是D:\\Java\\Tool\\kafka\_2.11-0.10.0.1

*  1、进入Kafka配置目录，D:\\Java\\Tool\\kafka\_2.11-0.10.0.1
 *  2、编辑文件“server.properties”
 *  3、找到并编辑log.dirs=D:\\Java\\Tool\\kafka\_2.11-0.10.0.1\\kafka-log,这里的目录自己修改成自己喜欢的
 *  4、找到并编辑zookeeper.connect=localhost:2181。表示本地运行
 *  5、Kafka会按照默认，在9092端口上运行，并连接zookeeper的默认端口：2181。

运行：   
重要：请确保在启动Kafka服务器前，Zookeeper实例已经准备好并开始运行。

*  1、进入Kafka安装目录D:\\Java\\Tool\\kafka\_2.11-0.10.0.1
 *  2、按下Shift+右键，选择“打开命令窗口”选项，打开命令行。
 *  3、现在输入一下命令，并回车。

.\bin\windows\kafka-server-start.bat .\config\server.properties

*  1

若果出现错误: “找不到或无法加载主类 Files\\java\\jdk1.7.0\_80\\lib;C:\\Program”

解决方式如下：   
在kafka安装目录中找到bin\\windows目录中的kafka-run-class.bat找到142行为%CLASSPATH%加上双引号

修改前：set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %*    
    修改后：set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS% %KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp "%CLASSPATH%" %KAFKA_OPTS% %*

*  1
 *  2

## 四、测试 ##

上面的Zookeeper和kafka一直打开

### （1）、创建主题 ###

*  1、进入Kafka安装目录D:\\Java\\Tool\\kafka\_2.11-0.10.0.1
 *  2、按下Shift+右键，选择“打开命令窗口”选项，打开命令行。
 *  3、现在输入下面命令，创建一个叫linlin的topic

.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic linlin

*  1

### （2）创建生产者 ###

*  1、进入Kafka安装目录D:\\Java\\Tool\\kafka\_2.11-0.10.0.1
 *  2、按下Shift+右键，选择“打开命令窗口”选项，打开命令行。
 *  3、现在输入下面命令，创建一个关注linlin主题的生产者

.\bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic linlin

*  1

### （3）创建消费者 ###

*  1、进入Kafka安装目录D:\\Java\\Tool\\kafka\_2.11-0.10.0.1
 *  2、按下Shift+右键，选择“打开命令窗口”选项，打开命令行。
 *  3、现在输入下面命令，创建一个关注linlin主题的消费者

.\bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic linlin

*  1

### （4）测试 ###

在生产者命令窗口输入一句话进行测试，如: Hello I am linlin, who are you，然后回车。可以看到消费之窗口获取到了这一条消息。

## 常用命令 ##

*  查看现有的topic

.\bin\windows\kafka-topics.bat --zookeeper localhost:2181 --list

*  1

*  查看topic详细信息

.\bin\windows\kafka-topics.bat --zookeeper localhost:2181 --describe

*  1

## 后话 ##

从上面的安装测试也大概可以看出kafka的结构。下图为kafka的结构图，摘自网络

![WEB91dc990f85626847d147c5c8949a04c8_method_download_shareKey_e75afb4f5c2b55764b3d5e42f3cebaed][]

[http_zookeeper.apache.org_releases.html_download]: http://zookeeper.apache.org/releases.html#download
[http_kafka.apache.org_downloads.html]: http://kafka.apache.org/downloads.html
[WEB91dc990f85626847d147c5c8949a04c8_method_download_shareKey_e75afb4f5c2b55764b3d5e42f3cebaed]: http://note.youdao.com/yws/api/personal/file/WEB91dc990f85626847d147c5c8949a04c8?method=download&shareKey=e75afb4f5c2b55764b3d5e42f3cebaed