Kafka概述及安装部署

蔚落 2021-09-30 14:48 429阅读 0赞

一、Kafka概述

1.Kafka是一个分布式流媒体平台，它有三个关键功能：

(1)发布和订阅记录流，类似于消息队列或企业消息传递系统；

(2)以容错的持久方式存储记录流；

(3)记录发送时处理流。

2.Kafka通常应用的两大类应用

(1)构建在系统或应用程序之间的可靠获取数据的实时流数据管道；

(2)构建转换或响应数据流的实施流应用程序。

3.Kafka中的角色

发送消息：Producer

接收消息：Consumer

后台系统向kafka集群发送消息，然后kafka集群向用户分发消息

![1578808-20190228212920456-1047582527.png][]

4.为什么要用消息队列

(1)解耦：可以自由处理和设置接收及发送端的配置，

是一个接口的约束，可以避免出现一些问题

(2)拓展性：可以增加处理过程

(3)灵活：面对访问量增长到峰值时，不会因为超负荷请求而完全瘫痪

(4)可恢复：一部分组件失效了，不会影响整个系统，并可以恢复

(5)缓存：控制数据量经过系统的速度

(6)顺序保证：保证消息数据按照有序处理

(7)异步通信：

提供了异步处理的机制，允许用户把消息当到队列中但不立即处理

5.Kafka架构设计

kafka依赖于zookeeper，用zk保存元数据信息(保存kafka集群节点状态信息和消费者当前消费信息)。所以要先搭建zookeeper集群，在搭建kafka集群。

在kafka中，用来处理和存储生产者生成的消息的是broker，broker将生产者生成的消息以topic分类到不同分区partition，然后根据消费者订阅的主题对消费者发送消息。

![1578808-20190228214438220-1176686199.png][]

二、Kafka的安装部署

1.在下载安装包，本人使用的是2.11-2.0.0，上次到linux，解压

2.在kafka路径下创建其日志文件夹

mkdir logs

3.进入config目录，进入server.properties文件修改配置信息

broker.id=0  
  　　　delete.topic.enable=true  
  　　　log.dirs=/root/hd/kafka/logs  
  　　　zokeeper.connect=hd1-1:2181,hd1-2:2181,hd1-3:2181

保存并退出；

4.将修改好的kafka文件夹发送到其他集群机器，并修改server.properties中的broker.id为1,2,3...

scp -r  /root/hd/kafka  hd09-01:/root/hd/

5.启动zookeeper集群，再启动kafka集群

进入kafka目录下输入命令：

bin/kafka-server-start.sh config/server/properties

启动完成！！

转载于:https://www.cnblogs.com/HelloBigTable/p/10453434.html

[1578808-20190228212920456-1047582527.png]: /images/20210724/1a68952f85a94623862a4aaf753a330e.png
[1578808-20190228214438220-1176686199.png]: /images/20210724/fb54a2b7e3414e1aae050926ebe6473a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，429人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka的安装部署（分布式部署安装）

官网：[http://kafka.apache.org/quickstart][http_kafka.apache.org_quickstart] Kafka强依赖ZK，如果

布满荆棘的人生/ 2024年02月19日 15:42/ 0 赞/ 76 阅读

相关一、Kafka 基本介绍及安装部署

一、Kafka 概述 Kafka 是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 1、消息队列（1

刺骨的言语ヽ痛彻心扉/ 2023年06月03日 15:52/ 0 赞/ 15 阅读

相关【kafka】kafka-manager安装部署

1、下载二进制由于只是预研就直接下载二进制，就不从源码编译了，开源也提供了直接可运行的二进制，下载链接：[https://github.com/yahoo/CMAK/r

青旅半醒/ 2022年12月26日 07:29/ 0 赞/ 369 阅读

相关 flume java 安装部署_Flume概述及安装部署

一、Flume概述 1.1、Flume定义 Flume is a distributed, reliable, and available service for effi

àì夳堔傛蜴生んèń/ 2022年10月23日 08:29/ 0 赞/ 28 阅读

相关 Kafka-概述了解、快速入门、部署安装以及基本操作

Kafka 概述 Kafka 是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域，实时数据处理几乎用的都是kafka。

超、凢脫俗/ 2022年09月09日 00:23/ 0 赞/ 19 阅读

相关安装部署kafka

说明：本博客是对学习安装部署kafka的总结，某些资源来自互联网，如有雷同，纯属引用参考。 1 zookeeper集群安装部署由于zookeepe

淡淡的烟草味﹌/ 2022年07月14日 05:10/ 0 赞/ 245 阅读

相关 kafka安装部署

说明：安装部署过程是在已安装了jdk1.7的基础上进行的官方下载地址：[https://archive.apache.org/dist/kafka/0.9.0.1/kafk

布满荆棘的人生/ 2022年06月10日 23:10/ 0 赞/ 225 阅读

相关 Kafka介绍及安装部署

[Kafka介绍及安装部署][Kafka] 消息中间件消息中间件特点消息中间件的传递模型 Kafka介绍安装部署Kafka集群

叁歲伎倆/ 2022年04月24日 05:24/ 0 赞/ 287 阅读

相关 kafka安装部署

必要环境 1、必须安装jdk环境。 2、这次采用windows系统。一、安装zookeeper 1、下载zookeeper，下载地址：[https://www

川长思鸟来/ 2022年01月23日 07:34/ 0 赞/ 285 阅读

相关 Kafka概述及安装部署

一、Kafka概述　　1.Kafka是一个分布式流媒体平台，它有三个关键功能：　　　(1)发布和订阅记录流，类似于消息队列或企业消息传递系统；　　　(2)以容

蔚落/ 2021年09月30日 14:48/ 0 赞/ 430 阅读