Spark Streaming（四）kafka搭建（单节点，单broker）

绝地灬酷狼 2023-02-26 05:27 98阅读 0赞

# 下载Kafka #

我使用的版本是`kafka_2.11-2.0.1.tgz`  
解压：`tar -xvf kafka_2.11-2.0.1.tgz -C ~/app/`  
添加至系统环境变量中：  
![在这里插入图片描述][20200714144654882.png]

# 配置Kafka #

查看并修改config下面的`server.properties`：

# 相当于存放数据的容器
    broker.id=0
    log.dirs=/home/iie4bu/app/tmp/kafka-logs
    zookeeper.connect=localhost:2181

# 启动kafka #

一个server相当于一个broker  
![在这里插入图片描述][20200714150251833.png]  
使用`jps -m`查看后台进程：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70]

# 创建Topic(指定zookeeper) #

创建Topic时需要指定zookeeper的地址  
`~/app/kafka_2.11-2.0.1/bin$ ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test`  
![在这里插入图片描述][2020071415111656.png]

# 查看所有topic(指定zookeeper) #

`./kafka-topics.sh --list --zookeeper localhost:2181`  
![在这里插入图片描述][20200714151225445.png]

# 查看所有topic详细信息(指定zookeeper) #

`kafka-topics.sh --describe --zookeeper localhost:2181`  
![在这里插入图片描述][20200714154000505.png]

# 查看某个topic详细信息(指定zookeeper) #

![在这里插入图片描述][20200714154043210.png]

# 创建生产者(指定broker-list) #

`./kafka-console-producer.sh --broker-list localhost:9092 --topic test`  
因为要发送消息，所以需要与`broker`打交道，而不需要与`zookeeper`打交道，默认的broker监听的是9092端口

# 创建消费者(指定bootstrap-server) #

`./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning`  
如果带着参数`--from-beginning`则表示从头开始消费，如果不带则从当前开始消费

[20200714144654882.png]: /images/20230209/85f00c84549c4192b7b1d971e92de8c0.png
[20200714150251833.png]: /images/20230209/e728987c77d140188124409b96a64f27.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200714150424912.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3ZpbmNlbnRfZHVhbg==,size_16,color_FFFFFF,t_70
[2020071415111656.png]: https://img-blog.csdnimg.cn/2020071415111656.png
[20200714151225445.png]: https://img-blog.csdnimg.cn/20200714151225445.png
[20200714154000505.png]: https://img-blog.csdnimg.cn/20200714154000505.png
[20200714154043210.png]: https://img-blog.csdnimg.cn/20200714154043210.png