Kafka-2.4版本安装部署集群，kafka基本命令行操作

深藏阁楼爱情的钟 2022-11-26 09:59 452阅读 0赞

# 2.4版本安装部署，kafka命令行操作 #

### 文章目录 ###

*  2.4版本安装部署，kafka命令行操作
 *   *  kafka安装部署（2.4版本）
     *  Kafka命令行操作

## kafka安装部署（2.4版本） ##

**Kafka 官网下载**

http://kafka.apache.org/downloads.html

**1 集群规划**

<table> 
 <thead> 
  <tr> 
   <th>hadoop102</th> 
   <th>hadoop103</th> 
   <th>hadoop104</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>zookeeper</td> 
   <td>zookeeper</td> 
   <td>zookeeper</td> 
  </tr> 
  <tr> 
   <td>kafka</td> 
   <td>kafka</td> 
   <td>kafka</td> 
  </tr> 
 </tbody> 
</table>

**2 集群部署**

1）解压安装包

[qinjl@hadoop102 software]$ tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/

2）修改解压后的文件名称

[qinjl@hadoop102 module]$ mv kafka_2.11-2.4.1.tgz kafka

3）在/opt/module/kafka目录下创建logs文件夹

[qinjl@hadoop102 kafka]$ mkdir logs

4）修改配置文件

[qinjl@hadoop102 kafka]$ cd config/
    [qinjl@hadoop102 config]$ vi server.properties
    
    输入以下内容：
    #broker的全局唯一编号，不能重复
    broker.id=0
    #删除topic功能使能,当前版本此配置默认为true，已从配置文件移除
    delete.topic.enable=true
    #处理网络请求的线程数量
    num.network.threads=3
    #用来处理磁盘IO的线程数量
    num.io.threads=8
    #发送套接字的缓冲区大小
    socket.send.buffer.bytes=102400
    #接收套接字的缓冲区大小
    socket.receive.buffer.bytes=102400
    #请求套接字的缓冲区大小
    socket.request.max.bytes=104857600
    #kafka运行日志存放的路径(数据消息)
    log.dirs=/opt/module/kafka/logs
    #topic在当前broker上的分区个数
    num.partitions=1
    #用来恢复和清理data下数据的线程数量
    num.recovery.threads.per.data.dir=1
    #segment文件保留的最长时间，超时将被删除
    log.retention.hours=168
    #配置连接Zookeeper集群地址
    zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

5）配置环境变量

[qinjl@hadoop102 module]$ sudo vi /etc/profile
    
    #KAFKA_HOME
    export KAFKA_HOME=/opt/module/kafka
    export PATH=$PATH:$KAFKA_HOME/bin
    
    [qinjl@hadoop102 module]$ source /etc/profile

6）分发安装包

[qinjl@hadoop102 module]$ xsync kafka/

*  注意：分发之后记得配置其他机器的环境变量

7）分别在 hadoop103 和 hadoop104 上修改配置文件/opt/module/kafka/config/server.properties 中的 broker.id=1、broker.id=2

*  注：broker.id不能重复

8）启动集群

#先启动Zookeeper集群，然后启动kafaka
    [qinjl@hadoop102 kafka]$ zk.sh start 
    
    #依次在hadoop102、hadoop103、hadoop104节点上启动kafka
    [qinjl@hadoop102 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
    [qinjl@hadoop103 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties
    [qinjl@hadoop104 kafka]$ bin/kafka-server-start.sh -daemon config/server.properties

9）关闭集群

[qinjl@hadoop102 kafka]$ bin/kafka-server-stop.sh stop
    [qinjl@hadoop103 kafka]$ bin/kafka-server-stop.sh stop
    [qinjl@hadoop104 kafka]$ bin/kafka-server-stop.sh stop

10）kafka 群起脚本

#!/bin/bash
    case $1 in
    "start")
       for i in hadoop102 hadoop103 hadoop104
       do
       echo "============== $i kafka============== "
       ssh $i /opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties
       done
    ;;
    "stop")
       for i in hadoop102 hadoop103 hadoop104
       do
       echo "============== $i kafka============== "
       ssh $i /opt/module/kafka/bin/kafka-server-stop.sh
       done
    esac

## Kafka命令行操作 ##

1）增：创建topic

# 默认创建单分区单副本的主题
    bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --topic tn 
    # 分区数和副本数，要小于所对应的可用节点数
    bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --create --topic first --partitions 2 --replication-factor 2

选项说明：

*  –replication-factor 2 --partitions 1
 *  –topic 定义topic名
 *  –replication-factor 定义副本数
 *  –partitions 定义分区数

2）查：查看topic

# 列出集群中所有可用的topics
    bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list 
    
    # 描述出集群中所有主题的详情
    bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe 
    
    # 列出指定的主题详情
    bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic tn 
    
    例子：
    [qinjl@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first
    [qinjl@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --list

![在这里插入图片描述][20200811233049983.png_pic_center]  
![在这里插入图片描述][2020081123283835.png_pic_center]

3）删：删除topic

# 删除指定主题（标记清除，过一段时间kafka会自己删除）
    bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --delete --topic tn

4）改：修改分区数

# n（指定改成多少个分区），tn (改哪个主题)
    bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --partitions n --topic tn 
    # 例子：
    [qinjl@hadoop102 kafka]$ bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --alter --topic first --partitions 2

注意：Kafka 的分区数可以增加，但不支持减少（分区数只能往大修改，不能往小修改）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70_pic_center]

5）发送消息

# 指名topic的名称
    bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic tn
    # 例子：
    [qinjl@hadoop102 kafka]$ bin/kafka-console-producer.sh --broker-list hadoop102:9092 --topic first
    >hello
    >world

![在这里插入图片描述][20200811233003411.png_pic_center]  
6）消费消息

# 通过配置文件设置消费者组
    bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic tn --consumer.config config/consumer.properties
    # 通过指定gn组名，直接设置消费者组
    bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic tn --group gn
    # 不指定消费者组，kafka默认会分配一个组id（当前消费者就是一个组）
    bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first
    
    bin/kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic first --from-beginning

*  注：如果是新的消费者组，第一次消费topic，默认不会读取已经存在的数据（不读取之前的offset）从最新的开始。加上–from-beginning参数，只有第一次读取才会从头开始读取（读取之前的所有offset），后面再有同组的消费者，加上–from-beginning参数，也不会从头读取

![在这里插入图片描述][2020081123302898.png_pic_center]

[20200811233049983.png_pic_center]: /images/20221124/fd9287d356994bbdbcf7eece14fb2762.png
[2020081123283835.png_pic_center]: /images/20221124/224b9b7da52448058e2e44c87a9ec9d1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70_pic_center]: /images/20221124/2af68ba43a8042828153a5be4c871057.png
[20200811233003411.png_pic_center]: /images/20221124/5740bc4bd3c24945bbe6fac33b7bc2ed.png
[2020081123302898.png_pic_center]: /images/20221124/1361d0ed451b428f90ac94fbd0117489.png