Kafka 安装与基本操作

深藏阁楼爱情的钟 2022-11-18 01:52 233阅读 0赞

# Kafka安装部署 #

### 单机模式 ###

1、下载kafka。

*  https://kafka.apache.org/downloads

2、安装解压。

*  已经编译好的，直接解压就行（tar -zxvf kafka\_2.11-2.0.0.tgz ）

3、启动zookeeper。

*  因为 kafka 的注册中心是 zk，所以需要先启动zookeeper节点
 *  kafka 内置了 zookeeper 的服务，所以在 bin 目录下提供了 zk 的启动和关闭脚本 zookeeper-server-start.sh 和 zookeeper-server-stop.sh。另外，在conﬁg目录下，存在一些配置文件zookeeper.properties和server.properties。
    
        sh zookeeper-server-start.sh -daemon ../config/zookeeper.properties

4、修改server.properties

*  server.properties 是 kafka 的配置文件
 *  修改 listeners 选项  
    ![在这里插入图片描述][20210411190708929.png]
    
        # kafka消息收发监听配置
        listeners=PLAINTEXT://本机IP :9092
    
    因为 kafka 会去 zk 拿 kafka 的地址  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNDYwNw_size_16_color_FFFFFF_t_70]

5、启动kafka

*  注意，jdk 版本必须 >= 1.8.0\_211 否则会报错
    
        nohup sh kafka-server-start.sh ../config/server.properties &
 *  通过查看进程ps-ef | grep kafka看是否成功启动
 *  若内存不够则修改 vim bin/kafka-server.start.sh的俩1G为256M和128M
    
        export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"     # Xms是启动内存，大点启动的快，但可能导致机器暂时变慢
        export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M" # Xmx是可占用最大内存，超出就会报oom异常

6、停止kafka

*      sh kafka-server-stop.sh ../config/server.properties

### 集群模式 ###

1、修改server.properties

*  修改 `broker.id`，同一个集群中的每个机器的id必须唯一
 *  修改 zookeeper 的连接配置，`zookeeper.connect`
 *  修改 `listeners` 配置，否则在 zk 上注册的主机名

2、分别启动三个 kafka

# Kafka基本操作 #

### topic 相关 ###

创建 topic

sh kafka-topics.sh --create 
    --zookeeper localhost:2181 
    --replication-factor 1  # 表示该topic需要在不同的broker中保存几份，这里设置成1，表示在两个broker中保存两份
    -partitions 1           # 分区数，相当分配的于队列数
    --topic test

查看 topic

sh kafka-topics.sh 
    --zookeeper localhost:2181
    --list   # 查看topic列表

查看指定 topic 属性信息

sh kafka-topics.sh 
    --zookeeper localhost:2181 
    --describe    # 查看topic描述
    --topic test  # 指定topic

### 生产消费相关 ###

产生消息

sh kafka-console-producer.sh 
    --broker-list localhost:9092  # 指定发送消息的broker
    --topic test # 指定发送消息的broker的topic

消费消息

sh kafka-console-consumer.sh 
    --bootstrap-server localhost:9092  # 从哪个broker消费消息
    --topic test  	  # 从哪个topic消费消息
    --from-beginning  # 从何处开始消费消息

[20210411190708929.png]: /images/20221022/6a14acefb570443f8246331a9f46a7ac.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzkzNDYwNw_size_16_color_FFFFFF_t_70]: /images/20221022/8d7f923a617e4ea0acb49dc49c1210dc.png