Kafka（二）：Kafka安装与使用

迷南。 2022-05-27 08:49 280阅读 0赞

#### 一、安装Kafka ####

官方快速安装文档：[http://kafka.apache.org/quickstart][http_kafka.apache.org_quickstart]

##### 安装kafka #####

下载最新版本kafka
    [root@Basic apps]# wget http://mirrors.shu.edu.cn/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
    [root@Basic apps]# tar -zxvf kafka_2.11-1.1.0.tgz

##### 启动zookeeper服务 #####

[root@Basic apps]# cd kafka_2.11-1.1.0
    
    如果本地有zookeeper，可以启动本地安装的zookeeper，如果没有就使用kafka自带的zookeeper
    [root@Basic kafka_2.11-1.1.0]# bin/zookeeper-server-start.sh config/zookeeper.properties
    
    
    [2018-02-27 05:43:09,969] INFO tickTime set to 3000 (org.apache.zookeeper.server.ZooKeeperServer)
    [2018-02-27 05:43:09,970] INFO minSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer)
    [2018-02-27 05:43:09,971] INFO maxSessionTimeout set to -1 (org.apache.zookeeper.server.ZooKeeperServer)
    [2018-02-27 05:43:10,060] INFO binding to port 0.0.0.0/0.0.0.0:2181 (org.apache.zookeeper.server.NIOServerCnxnFactory)

##### 启动kafka服务 #####

[root@Basic kafka_2.11-1.1.0]# bin/kafka-server-start.sh config/server.properties

#### 二、Kafka操作 ####

##### 1. 创建Topic #####

> 创建一个名叫kafka\_test， 一个复制因子一个分区的Topic

[root@Basic kafka_2.11-1.1.0]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafka_test
    WARNING: Due to limitations in metric names, topics with a period ('.') or underscore ('_') could collide. To avoid issues it is best to use either, but not both.
    Created topic "kafka_test".

##### 2. 列出所有Topic #####

[root@Basic kafka_2.11-1.1.0]# bin/kafka-topics.sh --list --zookeeper localhost:2181
    kafka_test

##### 3. 连接生产者，发送消息 #####

[root@Basic kafka_2.11-1.1.0]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafka_test
    
    > hello, kafka

##### 4. 创建一个消费者，接收消息 #####

[root@Basic kafka_2.11-1.1.0]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic kafka_test --from-beginning
    
    hello, kafka
    
    
    旧版本过时方式：
    [root@Basic kafka_2.11-1.1.0]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafka_test --from-beginning

> from-beginning 表示从第一条记录开始读，即使已经生产者发送过很早条消息，并且已经有消费者读了很多条了， 这个消费者也能从第一条重新开始读，并且不影响其他消费者读的偏移量。

##### 5. 查看Topic状态 #####

[root@Basic kafka_2.11-1.1.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka_test
    Topic:kafka_test        PartitionCount:1        ReplicationFactor:1     Configs:
            Topic: kafka_test       Partition: 0    Leader: 0       Replicas: 0     Isr: 0

[http_kafka.apache.org_quickstart]: http://kafka.apache.org/quickstart