Kafka 基本概念以及框架介绍

不念不忘少年蓝@ 2022-10-03 00:32 229阅读 0赞

**背景****及架构介绍**

一、 背景

什么是kafka呢，他是LinkedIn开发的一个分布式消息系统，用scala编写的，可以水平扩展和高吞吐率。

原本开发自LinkedIn，用作他们的活动流和运营数据处理管道的基础，之后被多家公司使用，慢慢发展壮大起来。

二、 简单介绍

kafka是分布式的，基于发布/订阅的消息系统。

1、 即使对TB级以上数据也能保证常数时间复杂度的访问性能。

2、 高吞吐率：即使在非常廉价的商用机器上也能做到单机支持每秒100k条以上消息的传输。

3、 支持分区，消息分布式消费，但是只能保证每个partition内的消息顺序传输。并且支持在线水平扩展。

为何使用消息中间件呢，大家肯定接触过rabbitmq、activemq、redis等，估计有很多感触。我就不详细描述了，这个只能亲身参加过大的技术架构，自己身在其中，并且感受到不用消息中间件和用的区别。

三、 架构

了解架构之前，我们先了解一下基本名词。

Broker：安装了kafka的服务器就是一个broker。

Topic：消息的类比，最好一类数据定一个topic去存储传输。

Partition:分区，topic可以定分到几个分区中。

Producer：发送消息，发送者。

Consumer：消费消息，消费者。

Consumer Group：每个Consumer属于一个特定的Consumer Group。

![1518584-20190222082625315-313579760.png][]

从图中来看，kafka集群包含若干个producer和consumer以及broker，还有一个zk集群。Producer通过push模式将数据发送到broker，Consumer通过pull模式拉取数据。

Producer发送消息到broker时，根据partition机制选择分不到哪一个partition，设置合理的情况下，所有消息可

以均匀分不到不同的partition里，实现了负载均衡。

转载于:https://www.cnblogs.com/Tonyzczc/p/10416269.html

[1518584-20190222082625315-313579760.png]: /images/20220109/399c284b8424400f93a0e60815fc8c7f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，229人围观）

还没有评论，来说两句吧...

相关阅读

相关 ElasticSearch入门-基本概念介绍以及安装

Elasticsearch基本概念 Elasticsearch是基于Lucene的全文检索库，本质也是存储数据，很多概念与传统关系型数据库类似。传统关系型数据库...

深藏阁楼爱情的钟/ 2024年04月18日 12:09/ 0 赞/ 82 阅读

相关 shiro框架基本概念介绍

什么是Shiro: Shiro 是一个强大灵活的开源安全框架，可以完全处理身份验证、授权、加密和会话管理 Shiro的核心功能包括： 1. 身份验证（Authe

柔光的暖阳◎/ 2023年10月14日 19:37/ 0 赞/ 69 阅读

相关 kafka基本概念快速入门

今天项目中用到了kafka做用户行为的数据埋点，重新熟悉了一下kafka 1. 消息中间件对比 kafka: 追求高吞吐量，适合产生大量数据的互联网服务的数据收集

ゝ一世哀愁。/ 2023年10月01日 07:47/ 0 赞/ 64 阅读

相关 ElasticSearch入门-基本概念介绍以及安装

Elasticsearch基本概念 Elasticsearch是基于Lucene的全文检索库，本质也是存储数据，很多概念与传统关系型数据库类似。传统关系型数据库与E

淡淡的烟草味﹌/ 2023年06月04日 12:51/ 0 赞/ 88 阅读

相关 Kafka 基本介绍

文章目录 1、什么是kafka 2、kafka的使用场景 3、 kafka优缺点 4、Kafka架构（流程）

不念不忘少年蓝@/ 2023年05月22日 14:28/ 0 赞/ 17 阅读

相关 Kafka 基本概念以及框架介绍

背景及架构介绍一、背景什么是kafka呢，他是LinkedIn开发的一个分布式消息系统，用scala编写的，可以水平扩展和高吞吐率。原本开发自LinkedIn，用

不念不忘少年蓝@/ 2022年10月03日 00:32/ 0 赞/ 230 阅读

相关 Kafka基本介绍

一、背景 1、Why Kafka 以ActiveMQ为例，和Kafka同属于Apache，发展前景都十分被看好。但两种的设计目标却各有侧重。ActiveMQ可以支持

秒速五厘米/ 2022年09月22日 04:57/ 0 赞/ 222 阅读

相关 java 集合的概念以及集合框架介绍

1 集合的概念集合框架是为表示和操作"多个对象"而规定的一种统一的标准的体系结构。任何集合框架都包含三大块内容：对外的接口、接口的实现和对集合运算的算法。接口

红太狼/ 2022年06月10日 07:40/ 0 赞/ 249 阅读

相关 kafka基本概念

转载：[https://www.cnblogs.com/likehua/p/3999538.html][https_www.cnblogs.com_likehua_p_3999

港控/mmm°/ 2022年04月21日 17:46/ 0 赞/ 283 阅读

相关 kafka基本概念

Kafka就是一款基于发布与订阅的梢息系统。它一般被称为 “分布式提交日志”或者“分布式流平台”。文件系统或数据库提交日志用来提供所有事务的持久记录，

小灰灰/ 2020年05月18日 07:21/ 0 赞/ 1071 阅读