KAFKA 最新版 Shell API单机生产与消费

红太狼 2022-09-11 10:11 178阅读 0赞

### 文章目录 ###

*   *   *   *   *  一、KAFKA 启动与监控
                 *  二、KAFKA 主题创建于查看生产与消费
                 *   *  2.1. 查看主题列表
                     *  2.2. 创建主题
                     *  2.3. 查看主题信息
                     *  2.4. 主题信息分析
                 *  三、KAFKA 主题创建于查看生产与消费
                 *   *  3.1. 客户端监听消息
                     *  3.2. 生产消息
                     *  3.3. 从头监听消息

##### 一、KAFKA 启动与监控 #####

# 后台启动kafka
    kafka-server-start.sh -daemon /app/kafka_2.12-2.8.0/config/server.properties
    
    # 监控kafka
    ps -aux |grep kafka
    
    # 日志存放目录
    cd /var/gblfy/kafka/kafka-logs
    
    [root@bogon kafka-logs]# pwd
    /var/gblfy/kafka/kafka-logs
    [root@bogon kafka-logs]# ll
    总用量 4
    -rw-r--r--. 1 root root  0 9月  15 13:25 cleaner-offset-checkpoint
    -rw-r--r--. 1 root root  0 9月  15 13:25 log-start-offset-checkpoint
    -rw-r--r--. 1 root root 54 9月  15 13:25 meta.properties
    -rw-r--r--. 1 root root  0 9月  15 13:25 recovery-point-offset-checkpoint
    -rw-r--r--. 1 root root  0 9月  15 13:25 replication-offset-checkpoint

##### 二、KAFKA 主题创建于查看生产与消费 #####

###### 2.1. 查看主题列表 ######

kafka-topics.sh --zookeeper localhost:2181/mykafka --list

###### 2.2. 创建主题 ######

> 创建主题指定主题名称、该主题有几个分区，每个分区有几个副本

副本就是为了提高高可用，主从切换，要求一个分区的不同副本必须在不同的服务器上，否则没有意义

# 创建一个主题名称为topic_1 该主题分区1个分区 ，该分区有1个副本
    kafka-topics.sh --zookeeper localhost:2181/mykafka --create --topic topic_1 --partitions 1 --replication-factor 1

# 创建一个主题名称为topic_2 分区个数为5个 ，每个分区各有1个副本
    kafka-topics.sh --zookeeper localhost:2181/mykafka --create --topic topic_2 --partitions 5 --replication-factor 1

###### 2.3. 查看主题信息 ######

# 查看主体名称为topic_1的具体信息
    kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_1
    
    # 查看主体名称为topic_2的具体信息
    kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_2

###### 2.4. 主题信息分析 ######

[root@bogon kafka-logs]# kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_1
    Topic:topic_1   PartitionCount:1        ReplicationFactor:1     Configs:
            Topic: topic_1  Partition: 0    Leader: 0       Replicas: 0     Isr: 0
    当前topic_1主题，有1个分区，0号分区，这个分区在0号服务器上，一个副本，在0号服务器上

[root@bogon kafka-logs]# kafka-topics.sh --zookeeper localhost:2181/mykafka --describe --topic topic_2
    Topic:topic_2   PartitionCount:5        ReplicationFactor:1     Configs:
            Topic: topic_2  Partition: 0    Leader: 0       Replicas: 0     Isr: 0
            Topic: topic_2  Partition: 1    Leader: 0       Replicas: 0     Isr: 0
            Topic: topic_2  Partition: 2    Leader: 0       Replicas: 0     Isr: 0
            Topic: topic_2  Partition: 3    Leader: 0       Replicas: 0     Isr: 0
            Topic: topic_2  Partition: 4    Leader: 0       Replicas: 0     Isr: 0
    # 主题topic_2，该主题有5个分区，分别是0/1/2/3/4/5号分区，每个分区各有一个副本，每个分区都在0号服务器上

##### 三、KAFKA 主题创建于查看生产与消费 #####

###### 3.1. 客户端监听消息 ######

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1

###### 3.2. 生产消息 ######

# 
    kafka-console-producer.sh --broker-list localhost:9092 --topic topic_1
    
    # 在实时窗口中，生产消息，消费者就会实时监听消息

如下图所示：  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16]

###### 3.3. 从头监听消息 ######

> 把消费者关闭，重新启动，默认消费者就会之监听在此时间之后的消息，之前的消息不能监听，那如果有需求需要监听以前的所有消息，那该如何处理呢？

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic topic_1 --from-beginning

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 1]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/cb9bdd3bbf664ebe9ed9c357651076d6.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBAZ2JsZnk_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/44d299f88db4482e9e75b5bb55094ab3.png