12.2 kafka安装测试

浅浅的花香味﹌ 2022-05-16 12:37 171阅读 0赞

Kafka是个什么东西？消息队列的特点？

消息列队的特点：

生产者消费者模式

先进先出（FIFO）顺序保证

可靠性保证

自己不丢数据

消费者不丢数据：“至少一次，严格一次”

kafka的架构:

producer：消息生产者

consumer：消息消费者

broker：kafka集群的server，构成集群的每个节点，负责处理消息读、写请求，存储消息

topic：消息队列/分类，如果让topic变成强有序的，就可以让每个topic里面有partition分区

partition：组成队列的分区，强有序的

zookeeper：kafka需要需要zk存储单元

--------------------

kafka安装:（kafka最多配置6台，一般3台）

1，在windows环境下解压kafka\_2.10-0.8.2.1.zip，然后把解压的文件直接整个上传到系统

2，修改config/server.properties （几个服务器节点都需要）

broker.id=2 \#每个服务器节点ID不能一样

log.dirs=/kafka-logs \#接收的数据写入的目录

zookeeper.connect=node2:4180,node3:4180,node4:4180

3，发现启动文件bin没有启动权限，给bin文件夹下所有都赋予权限：chmod +x -R ./bin

4，启动zookeeper集群: ./bin/kafka-server-start.sh –daemon config/server.properties &

5，启动kafka集群 ，启动之前先把kafka\_2.10-0.8.2.1目录下的startkafka.sh赋予启动权限chmod 755 startkafka.sh

6，启动kafka(每个节点都执行)：./startkafka.sh

测试：

//输入端--生产者

./bin/kafka-console-producer.sh --topic 20170419 --broker-list node2:9092,node3:9092,node4:9092

//接收端--消费者

./bin/kafka-console-consumer.sh --zookeeper node2:4180,node3:4180,node4:4180 --topic 20170419

生产者输入消息，消费者同步输出消息，成功。

--------------------

创建topic为20170419 的消息队列

./bin/kafka-topics.sh --create --zookeeper node2:4180,node3:4180,node4:4180 --topic 20170419 --partitions 2 --replication-factor 2

查看集群中已有的topic消息队列：

./bin/kafka-topics.sh --list --zookeeper node2:4180,node3:4180,node4:4180

查看topic为20170419的队列信息

./bin/kafka-topics.sh --describe --zookeeper node2:4180,node3:4180,node4:4180 --topic 20170419

--------------------

发表评论取消回复

表情：

评论列表（有 0 条评论，171人围观）

还没有评论，来说两句吧...

相关阅读

相关 php7安装kafka扩展（已经测试）

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zsl10/article/details/78743335 一、安装li

矫情吗；*/ 2023年10月18日 11:00/ 0 赞/ 29 阅读

相关 linux搭建kafka下载安装启动测试

Linux安装kafka分为三步第一步安装jdk 第二步安装zookeeper 第三步安装kafka 第一步安装jdk 我用的是最新的版本

雨点打透心脏的1/2处/ 2022年11月14日 13:23/ 0 赞/ 262 阅读

相关 docker快速安装kafka和zookeeper测试环境

Docker在很多时候都可以帮助我们快速搭建想要的开发环境，免去了很多安装配置上的麻烦。在涉及到Apache Kafka的快速demo时，使用Docker Hub上提供的镜像也

我就是我/ 2022年09月08日 14:52/ 0 赞/ 31 阅读

相关 docker安装kafka并测试

1. 下载docker镜像 docker pull wurstmeister/zookeeper docker pull wurstmeister/k

朱雀/ 2022年09月08日 03:40/ 0 赞/ 13 阅读

相关 kafka单节点安装和测试

1. 简介 i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。 ii. 多个br

「爱情、让人受尽委屈。」/ 2022年07月20日 15:03/ 0 赞/ 249 阅读

相关 linux安装flume和集成kafka测试

一.前期准备 1.1 kafka+zookeeper集群环境以安装 1.2 下载flume 本文使用flume1.7 下载地址:[http://flume.

逃离我推掉我的手/ 2022年06月15日 03:43/ 0 赞/ 225 阅读

相关 Kafka入门-windows安装测试

安装JDK 二、安装zookeeper kafka使用zookeeper来实现动态的集群扩展，不需要更改客户端（producer和consumer）的配置。br

深碍√TFBOYSˉ_/ 2022年05月25日 11:39/ 0 赞/ 220 阅读

相关 12.2 kafka安装测试

Kafka是个什么东西？消息队列的特点？消息列队的特点：生产者消费者模式先进先出（FIFO）顺序保证可靠性保证自己不丢数据消费者不丢数据：“至少一次，严

浅浅的花香味﹌/ 2022年05月16日 12:37/ 0 赞/ 172 阅读

相关 kafka集群安装后的命令测试

转载 [https://www.cnblogs.com/younldeace/p/3796580.html][https_www.cnblogs.com_younldeace_

曾经终败给现在/ 2022年05月11日 13:04/ 0 赞/ 106 阅读

相关 Kafka单机版本地安装测试

1、下载解压 tar -xzf kafka_2.12-2.4.0.tgz cd kafka_2.12-2.4.0 2、启动zookeeper

╰+哭是因爲堅強的太久メ/ 2021年09月23日 23:40/ 0 赞/ 379 阅读