KAFKA-02-kafka单机和集群的安装和使用详解

r囧r小猫 2023-09-29 13:51 9阅读 0赞

### 文章目录 ###

*  1：环境准备
 *   *  1：jdk1.8安装
     *  2：配置主机名和IP映射
     *  3：关闭防火墙&防火墙开机自启动
     *  4：安装&启动Zookeeper
 *  2：kafka单机安装
 *   *  1:下载地址
     *  2：解压
     *  3:修改配置
     *   *  1：修改核心配置文件 /opt/kafka/config/server.properties
         *  2：注：server.properties文件的配置的全部含义
     *  4:启动kafka
 *  3：单机使用
 *   *  1:主题(topic)命令行操作
     *   *  1:主题命令行参数
         *  2：创建主题
         *  3：查看分区
         *  4：查看分区详情
     *  2：消费者命令
     *   *  1：命令参数
         *  2：消费者订阅topic01
     *  3：生产者命令
     *   *  1：生产者命令行参数
         *  2:生产者生产消息
         *  3：消费者立即得到消息
 *  4：集群安装
 *   *  1：jdk安装，这个是一样的
     *  2：配置主机名和映射
     *  3：关闭防火墙
     *  4：同步时钟
     *  5：配置zookeeper集群
     *  6：配置kafka集群
     *   *  1:下载地址
         *  2：解压
         *  3:修改配置（跟单机区别在这里）
         *  4:分别启动kafka
     *  7：集群创建topic
     *   *  1：创建：topic01，3个分区，2个副本因子
         *  2：查看三台服务器存储情况
         *  3：通过命令查看topic分区情况
     *  8：集群下命令实例

# 1：环境准备 #

## 1：jdk1.8安装 ##

1：检查系统中是否已经安装过openjdk，如果有将其删除

> rpm -qa | grep java  
> yum remove -y java-\*

2:将jdk上传到主机，并解压缩到指定目录 /usr/local

> tar zxvf jdk-11.0.12\_linux-x64\_bin.tar.gz -C /usr/local/

3:配置环境变量并刷新

#编辑配置文件
    vi /etc/profile
    #写入如下内容
    export JAVA_HOME=/usr/local/jdk-11.0.12
    export CLASS_PATH=.
    export PATH=$JAVA_HOME/bin:$PATH
    #加载配置文件
    source /etc/profile.d/jdk11.sh

4：检查安装  
![在这里插入图片描述][83e745dbd0dc48ca80e5ac0b7e2694cf.png]

## 2：配置主机名和IP映射 ##

配置主机名和ip的映射，后边要用  
![在这里插入图片描述][7dc9ec149cd3457d9ac316f8ee70e923.png]

![在这里插入图片描述][cd47f8b5f3354a9ba7802b00f42f1cc1.png]  
![在这里插入图片描述][feb1a5586fc0487396ed7f3a11629899.png]

## 3：关闭防火墙&防火墙开机自启动 ##

注；不同的系统防火墙命令不同，以centos7为例

启动： systemctl start firewalld
    
    关闭： systemctl stop firewalld
    
    查看状态： systemctl status firewalld
    
    开机禁用 ： systemctl disable firewalld
    
    开机启用 ： systemctl enable firewalld

## 4：安装&启动Zookeeper ##

安装zk的文档我专门写了另一个博客：[zookeeper安装和使用][zookeeper]

# 2：kafka单机安装 #

## 1:下载地址 ##

[https://kafka.apache.org/downloads][https_kafka.apache.org_downloads]

## 2：解压 ##

> tar -zxvf kafka\_2.12-3.0.0.tgz

## 3:修改配置 ##

### 1：修改核心配置文件 /opt/kafka/config/server.properties ###

#broker.id属性在kafka集群中必须要是唯一
    broker.id=0
    #kafka部署的机器ip和提供服务的端口号
    listeners=PLAINTEXT://centos:9092   
    #kafka的消息存储文件
    log.dir=/usr/local/data/kafka-logs
    #kafka连接zookeeper的地址
    zookeeper.connect=centos:2181

### 2：注：server.properties文件的配置的全部含义 ###

#broker 的全局唯一编号，不能重复，只能是数字。
    broker.id=0
    #处理网络请求的线程数量
    num.network.threads=3
    #用来处理磁盘 IO 的线程数量
    num.io.threads=8
    #发送套接字的缓冲区大小
    socket.send.buffer.bytes=102400
    #接收套接字的缓冲区大小
    socket.receive.buffer.bytes=102400
    #请求套接字的缓冲区大小
    socket.request.max.bytes=104857600
    
    #kafka部署的机器ip和提供服务的端口号
    listeners=PLAINTEXT://centos:9092   
    #代理将向生产者和消费者通告的主机名和端口，配上这个就可以直接通过ip来进行连接
    advertised.listeners=PLAINTEXT://192.168.138.128:9092
    
    #kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以
    配置多个磁盘路径，路径与路径之间可以用"，"分隔
    log.dirs=/opt/module/kafka/datas
    #topic 在当前 broker 上的分区个数
    num.partitions=1
    #用来恢复和清理 data 下数据的线程数量
    num.recovery.threads.per.data.dir=1
    # 每个 topic 创建时的副本数，默认时 1 个副本
    offsets.topic.replication.factor=1
    #segment 文件保留的最长时间，超时将被删除
    log.retention.hours=168
    #每个 segment 文件的大小，默认最大 1G
    log.segment.bytes=1073741824
    # 检查过期数据的时间，默认 5 分钟检查一次是否数据过期
    log.retention.check.interval.ms=300000
    #配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理）
    zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/ka
    fka

## 4:启动kafka ##

在kafka根目录下：./bin/kafka-server-start.sh -daemon config/server.properties  
![在这里插入图片描述][8515951f4ca24c0eae0697b6f77e603e.png]

# 3：单机使用 #

## 1:主题(topic)命令行操作 ##

### 1:主题命令行参数 ###

./bin/kafka-topics.sh

参数 描述
    --bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号。
    --topic <String: topic> 操作的 topic 名称。
    --create 创建主题。
    --delete 删除主题。
    --alter 修改主题。
    --list 查看所有主题。
    --describe 查看主题详细描述。
    --partitions <Integer: # of partitions> 设置分区数。
    --replication-factor<Integer: replication factor> 设置分区副本。
    --config <String: name=value> 更新系统默认的配置。

### 2：创建主题 ###

现在我们来创建一个名字为“topic01”的Topic，这个topic只有一个partition，并且备份因子也设置为1：

> …/bin/kafka-topics.sh --bootstrap-server centos:9092 --create --partitions 1 --replication-factor 1 --topic topic01  
> ![在这里插入图片描述][518472f6ffc645ffb7912b49deb68345.png]

### 3：查看分区 ###

./bin/kafka-topics.sh --bootstrap-server centos:9092 --list  
![在这里插入图片描述][02158028f2834815aa032a9b548d88ec.png]

### 4：查看分区详情 ###

> ./bin/kafka-topics.sh --bootstrap-server centos:9092 --describe --topic topic01  
> ![在这里插入图片描述][673df91fc1354f499442e0394c608728.png]

## 2：消费者命令 ##

### 1：命令参数 ###

./bin/kafka-console-consumer.sh

--bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号。
    --topic <String: topic> 操作的 topic 名称。
    --from-beginning 从头开始消费。
    --group <String: consumer group id> 指定消费者组名称。

### 2：消费者订阅topic01 ###

./bin/kafka-console-consumer.sh --bootstrap-server centos:9092 --topic topic01

![在这里插入图片描述][e1256d6a982c46ed87615832dd270372.png]

## 3：生产者命令 ##

### 1：生产者命令行参数 ###

./bin/kafka-console-producer.sh

--broker-list：必传参数，用来指定Kafka的代理地址列表，多个地址间使用逗号隔开
    --topic <String: topic> 操作的 topic 名称。

### 2:生产者生产消息 ###

./bin/kafka-console-producer.sh --broker-list centos:9092 --topic topic01  
![在这里插入图片描述][bfa3bb75313a419d98696842cc63ba8a.png]

### 3：消费者立即得到消息 ###

![在这里插入图片描述][899e9b0dfa454242906ae1fe268af788.png]

# 4：集群安装 #

集群安装和单机安装基本一样

## 1：jdk安装，这个是一样的 ##

## 2：配置主机名和映射 ##

![在这里插入图片描述][8b4ef2828e294645af6dc56a3d797777.png]

## 3：关闭防火墙 ##

这个三台分别关闭即可

## 4：同步时钟 ##

因为三台机器需要同步时间，否则容易造成数据不一致  
![在这里插入图片描述][0bf60c5fb3534487826985da260ad0cf.png]  
同步时钟 ntpdate cn.pool.ntp.org 或者 ntpdate ntp\[1-7\].aliyun.com  
然后clock - w  
![在这里插入图片描述][37a3fb23dd7445938f5eed39d6907870.png]

## 5：配置zookeeper集群 ##

安装zk的文档我专门写了另一个博客：[zookeeper安装和使用][zookeeper]

## 6：配置kafka集群 ##

### 1:下载地址 ###

[https://kafka.apache.org/downloads][https_kafka.apache.org_downloads]

### 2：解压 ###

> tar -zxvf kafka\_2.12-3.0.0.tgz

### 3:修改配置（跟单机区别在这里） ###

修改核心配置文件 /opt/kafka/config/server.properties

#broker.id属性在kafka集群中必须要是唯一
    broker.id=0     
    #kafka部署的机器ip和提供服务的端口号
    listeners=PLAINTEXT://centos:9092   
    #kafka的消息存储文件
    log.dir=/usr/local/data/kafka-logs
    #kafka连接zookeeper的地址
    zookeeper.connect=centos:2181

注：集群时修改地方：  
1：broker.id----比如centosA为0，centosB为1，centosC为2  
2：listeners=PLAINTEXT://centos:9092 ,分别改为监控自己节点的主机和端口号  
3：zookeeper集群地址用逗号分割  
![在这里插入图片描述][5d6ee8a85e6546c69d31b8be7f35a57a.png]

注：server.properties文件的配置的全部含义

#broker 的全局唯一编号，不能重复，只能是数字。
    broker.id=0
    #处理网络请求的线程数量
    num.network.threads=3
    #用来处理磁盘 IO 的线程数量
    num.io.threads=8
    #发送套接字的缓冲区大小
    socket.send.buffer.bytes=102400
    #接收套接字的缓冲区大小
    socket.receive.buffer.bytes=102400
    #请求套接字的缓冲区大小
    socket.request.max.bytes=104857600
    #kafka 运行日志(数据)存放的路径，路径不需要提前创建，kafka 自动帮你创建，可以
    配置多个磁盘路径，路径与路径之间可以用"，"分隔
    log.dirs=/opt/module/kafka/datas
    #topic 在当前 broker 上的分区个数
    num.partitions=1
    #用来恢复和清理 data 下数据的线程数量
    num.recovery.threads.per.data.dir=1
    # 每个 topic 创建时的副本数，默认时 1 个副本
    offsets.topic.replication.factor=1
    #segment 文件保留的最长时间，超时将被删除
    log.retention.hours=168
    #每个 segment 文件的大小，默认最大 1G
    log.segment.bytes=1073741824
    # 检查过期数据的时间，默认 5 分钟检查一次是否数据过期
    log.retention.check.interval.ms=300000
    #配置连接 Zookeeper 集群地址（在 zk 根目录下创建/kafka，方便管理）
    zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/ka
    fka

### 4:分别启动kafka ###

在kafka根目录下：./bin/kafka-server-start.sh -daemon config/server.properties  
![在这里插入图片描述][8515951f4ca24c0eae0697b6f77e603e.png]

## 7：集群创建topic ##

### 1：创建：topic01，3个分区，2个副本因子 ###

![在这里插入图片描述][560085d8f4ed4471b437147cf00222c9.png]

### 2：查看三台服务器存储情况 ###

在centosA即borker0节点上：  
![在这里插入图片描述][d8b6ca41529a4ede820a68ffa217a432.png]  
在centosB即borker1节点上：  
![在这里插入图片描述][62eaae6c199a454382eca0381b57faea.png]

在centosC即borker2节点上：  
![在这里插入图片描述][d2d44853c0164757b5c0d4d268c1669c.png]

### 3：通过命令查看topic分区情况 ###

./bin/kafka-topics.sh 
                        --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
                        --describe 
                        --topic topic01

![在这里插入图片描述][64d1c8f1c5ef4607921cf9f1a83050e7.png]  
如果三个节点，创建两个分区，3个副本因子，可以看到，虽然有3台broker，但是只有两台担任此topic的leader，但是三台机器上都有副本；  
![在这里插入图片描述][56bd4c5d4ec84849a838dbc1e6cd71b1.png]

## 8：集群下命令实例 ##

1：创建topic

[root@CentOSA kafka_2.11-2.2.0]# ./bin/kafka-topics.sh 
                        --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
                        --create 
                        --topic topic02 
                        --partitions 3 
                        --replication-factor 3

2：查看topic列表

[root@CentOSA kafka_2.11-2.2.0]# ./bin/kafka-topics.sh 				
                                                    --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
    			       --list

3：查看topic详情

[root@CentOSA kafka_2.11-2.2.0]# ./bin/kafka-topics.sh 
                        --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
                        --describe 
                        --topic topic01
    Topic:topic01	PartitionCount:3	ReplicationFactor:3	Configs:segment.bytes=1073741824
    	Topic: topic01	Partition: 0	Leader: 0	Replicas: 0,2,3	Isr: 0,2,3
    	Topic: topic01	Partition: 1	Leader: 2	Replicas: 2,3,0	Isr: 2,3,0
    	Topic: topic01	Partition: 2	Leader: 0	Replicas: 3,0,2	Isr: 0,2,3

4：修改topic—只能增加分区和副本，不能减少

[root@CentOSA kafka_2.11-2.2.0]# ./bin/kafka-topics.sh 
                        --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
                        --alter 
                        --topic topic03 
                        --partitions 2

5：删除topic

[root@CentOSA kafka_2.11-2.2.0]# ./bin/kafka-topics.sh 
                        --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
                        --delete 
                        --topic topic03

6：订阅topic

[root@CentOSA kafka_2.11-2.2.0]# ./bin/kafka-console-consumer.sh 
                      --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
                      --topic topic01 
                      --group g1 
                      --property print.key=true      //是否打印key
                      --property print.value=true   //是否打印value
                      --property key.separator=,    //key和value之间的分割

7：生产消息

[root@CentOSA kafka_2.11-2.2.0]# ./bin/kafka-console-producer.sh 
                      --broker-list CentOSA:9092,CentOSB:9092,CentOSC:9092 
                      --topic topic01

8：消费组查看详情

[root@CentOSA kafka_2.11-2.2.0]# ./bin/kafka-consumer-groups.sh 
                      --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
                      --list
                      g1
    
    [root@CentOSA kafka_2.11-2.2.0]# ./bin/kafka-consumer-groups.sh 
                      --bootstrap-server CentOSA:9092,CentOSB:9092,CentOSC:9092 
                      --describe 
                      --group g1
    
    TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG CONSUMER-ID    HOST            CLIENT-ID
    topic01 1                      0                    0                           0     consumer-1-**    /192.168.52.130 consumer-1
    topic01 0                      0                    0                          0      consumer-1-**   /192.168.52.130 consumer-1
    topic01 2                      1                     1                          0      consumer-1-**   /192.168.52.130 consumer-1

[83e745dbd0dc48ca80e5ac0b7e2694cf.png]: https://img-blog.csdnimg.cn/83e745dbd0dc48ca80e5ac0b7e2694cf.png
[7dc9ec149cd3457d9ac316f8ee70e923.png]: https://img-blog.csdnimg.cn/7dc9ec149cd3457d9ac316f8ee70e923.png
[cd47f8b5f3354a9ba7802b00f42f1cc1.png]: https://img-blog.csdnimg.cn/cd47f8b5f3354a9ba7802b00f42f1cc1.png
[feb1a5586fc0487396ed7f3a11629899.png]: https://img-blog.csdnimg.cn/feb1a5586fc0487396ed7f3a11629899.png
[zookeeper]: https://blog.csdn.net/qq_41694906/article/details/124613743
[https_kafka.apache.org_downloads]: https://kafka.apache.org/downloads
[8515951f4ca24c0eae0697b6f77e603e.png]: https://img-blog.csdnimg.cn/8515951f4ca24c0eae0697b6f77e603e.png
[518472f6ffc645ffb7912b49deb68345.png]: https://img-blog.csdnimg.cn/518472f6ffc645ffb7912b49deb68345.png
[02158028f2834815aa032a9b548d88ec.png]: https://img-blog.csdnimg.cn/02158028f2834815aa032a9b548d88ec.png
[673df91fc1354f499442e0394c608728.png]: https://img-blog.csdnimg.cn/673df91fc1354f499442e0394c608728.png
[e1256d6a982c46ed87615832dd270372.png]: https://img-blog.csdnimg.cn/e1256d6a982c46ed87615832dd270372.png
[bfa3bb75313a419d98696842cc63ba8a.png]: https://img-blog.csdnimg.cn/bfa3bb75313a419d98696842cc63ba8a.png
[899e9b0dfa454242906ae1fe268af788.png]: https://img-blog.csdnimg.cn/899e9b0dfa454242906ae1fe268af788.png
[8b4ef2828e294645af6dc56a3d797777.png]: https://img-blog.csdnimg.cn/8b4ef2828e294645af6dc56a3d797777.png
[0bf60c5fb3534487826985da260ad0cf.png]: https://img-blog.csdnimg.cn/0bf60c5fb3534487826985da260ad0cf.png
[37a3fb23dd7445938f5eed39d6907870.png]: https://img-blog.csdnimg.cn/37a3fb23dd7445938f5eed39d6907870.png
[5d6ee8a85e6546c69d31b8be7f35a57a.png]: https://img-blog.csdnimg.cn/5d6ee8a85e6546c69d31b8be7f35a57a.png
[560085d8f4ed4471b437147cf00222c9.png]: https://img-blog.csdnimg.cn/560085d8f4ed4471b437147cf00222c9.png
[d8b6ca41529a4ede820a68ffa217a432.png]: https://img-blog.csdnimg.cn/d8b6ca41529a4ede820a68ffa217a432.png
[62eaae6c199a454382eca0381b57faea.png]: https://img-blog.csdnimg.cn/62eaae6c199a454382eca0381b57faea.png
[d2d44853c0164757b5c0d4d268c1669c.png]: https://img-blog.csdnimg.cn/d2d44853c0164757b5c0d4d268c1669c.png
[64d1c8f1c5ef4607921cf9f1a83050e7.png]: https://img-blog.csdnimg.cn/64d1c8f1c5ef4607921cf9f1a83050e7.png
[56bd4c5d4ec84849a838dbc1e6cd71b1.png]: https://img-blog.csdnimg.cn/56bd4c5d4ec84849a838dbc1e6cd71b1.png