Kafka系列文章之安装测试-第2篇

叁歲伎倆 2022-11-29 11:19 112阅读 0赞

上篇文章讲解了 Kafka 的基础概念和架构，了解了基本概念之后，必须得实践一波了，所谓“实践才是检验真理的唯一办法”，后续系列关于 Kafka 的文章都以 kafka\_2.11-0.9.0.0 为例；另外为了让大家快速入门，本文只提供单机版的安装实战教程，如果有想尝试集群方案的，后面在出一篇集群安装的教程，废话不多说了，直接开干。

## 安装 ##

### 1. 下载 ###

版本号：kafka\_2.11-0.9.0.0

下载地址：http://kafka.apache.org/downloads

### 2. 安装 ###

# 安装目录
    $ pwd
    /Users/my/software/study
    
    # 减压
    $ sudo tar -zxvf kafka_2.11-0.9.0.0.tgz
    
    # 重命名
    $ sudo mv kafka_2.11-0.9.0.0.tgz kafka-0.9
    
    # 查看目录结构
    $ cd kafka-0.9 && ls
    LICENSE   NOTICE    bin       config    libs      site-docs
    
    # 目录结构介绍：
    # bin: 			存放kafka 客户端和服务端的执行脚本
    # config:		存放kafka的一些配置文件
    # libs:			存放kafka运行的的jar包
    # site-docs:	存放kafka的配置文档说明
    
    # 配置环境变量，方便在任意目录下运行kafka命令
    # 博主使用的Mac，所以配置在了 ~/.bash_profile文件中，
    # Linux中则配置在 ~/.bashrc 或者  ~/.zshrc文件中
    $ vim ~/.bash_profile
    
    export KAFKA_HOME=/Users/haikuan1/software/study/kafka-0.9
    export PATH=$PATH:$JAVA_HOME:$KAFKA_HOME/bin
    
    # 使得环境变量生效
    $ source ~/.bash_profile

### 3.运行 ###

3.1 启动 zookeeper

# 启动zookeeper，因为kafka的元数据需要保存到zookeeper中
    $ bin/zookeeper-server-start.sh config/zookeeper.properties
    
    # 若出现如下信息，则证明zookeeper启动成功了
    [2020-04-25 16:23:44,493] INFO Server environment:user.dir=/Users/haikuan1/software/study/kafka-0.10 (org.apache.zookeeper.server.ZooKeeperServer)
    [2020-04-25 16:23:44,505] INFO tickTime set to 3000 (org.apache.zookeeper.server.ZooKeeperServer)
    [2020-04-25 16:23:44,505] INFO minSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer)
    [2020-04-25 16:23:44,505] INFO maxSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer)
    [2020-04-25 16:23:44,548] INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory)

3.2 启动 Kafka server

# 以守护进程的方式启动kafka服务端，去掉 -daemon 参数则关闭当前窗口服务端自动退出
    $ bin/kafka-server-start.sh -daemon config/server.properties

3.3 kafka 基础命令使用

# 1. 创建一个topic
    # --replication-factor：指定副本个数
    # --partition：指定partition个数
    # --topic：指定topic的名字
    $ bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partition 1 --topic mytopic
    
    # 2. 查看创建成功的topic
    $ kafka-topics.sh --list --zookeeper localhost:2181
    
    # 3. 创建生产者和消费者
    
    # 3.1 启动kafka消费端
    # --from-beginning：从头开始消费，该特性也表明kafka消息具有持久性
    $ bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic mytopic --from-beginning
    
    # 3.2 启动kafka生产端
    # --broker-list：当前的Broker列表，即提供服务的列表
    $ bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytopic

![format_png][]

生产者消费者效果图

### 4.使用 Java 连接 kafka 进行测试 ###

4.1 创建一个 maven 工程，引入如下 pom 依赖

<dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka-clients</artifactId>
        <version>0.9.0.0</version>
    </dependency>
    
    <dependency>
        <groupId>org.apache.kafka</groupId>
        <artifactId>kafka_2.11</artifactId>
        <version>0.9.0.0</version>
    </dependency>

4.2 消费者端代码

![format_png 1][]

消费者端代码

4.3 生产者端代码

![format_png 2][]

生产者端代码

## ##

4.4 消费者端效果图

[format_png]: /images/20221124/a7705a0cb2644e568be112a4c21c9af7.png
[format_png 1]: /images/20221124/5461e88611e34faa850bbc926d05e237.png
[format_png 2]: /images/20221124/4135e33d33eb41d5a9602f07a68999a7.png