Kafka核心概念及核心机制

骑猪看日落 2024-02-19 15:54 81阅读 0赞

### 核心概念 ###

broker: 进程  
producer: 生产者 flume  
consumer: 消费者 ss （spark streaming，，，）  
topic: 主题 分区+副本数 文件夹  
partition: 分区一个分区可以有多个副本

### consumergroup： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]  
**重点解析：**  
1.一个组内，共享一个公共的GROUPID  
2.组内的所有消费者协调一起，去消费topic的所有的分区，并且不重复  
3.每个分区p0只能由一个消费组A的一个消费者C1来消费（po只能让A组的c1消费，不能c2在消费）  
4.容错性的消费机制

### offset: ###

有序的 不可变的序列 相当于MySQL自增长主键  
每个分区记录offset 偏移量 都是从1开始  
segment: 每个分区都是由一系列的segment文件组  
segment: log+index 两两出现  
**命名规则:** 第一组为00000000000000000000  
第二组为00000000000000002000  
名称是由上一组的最后一条消息的offset来命名  
**例子：**  
通过offset为2800对应的消息  
00000000000000000000.index  
00000000000000000000.log  
00000000000000002000.index  
00000000000000002000.log  
00000000000000004200.index  
00000000000000004200.log

1.log文件记录message 全部  
2.index文件记录 相对offset和对应的消息的物理偏移量 字节位置  
稀疏存储  
3.2800-2000=800 相对offset 800

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQzNjg4NDcy_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/01/29/4b7c716d8dfe41bcb1436f38e31b8aba.png

发表评论取消回复

表情：

评论列表（有 0 条评论，81人围观）

还没有评论，来说两句吧...

相关阅读

相关 Kafka核心概念及核心机制

核心概念 broker: 进程 producer: 生产者 flume consumer: 消费者 ss （spark streaming，，，） topic

骑猪看日落/ 2024年02月19日 15:54/ 0 赞/ 82 阅读

相关 Kafka 相关核心概念

kafaka 简介 Apache Kafka 是一个快速、可扩展的、高吞吐的、可容错的分布式 “ 发布 \- 订阅 ” 消息系统，使用 Scala 与 Java

忘是亡心i/ 2023年10月10日 12:23/ 0 赞/ 93 阅读

相关【Kafka】第二篇-Kafka的核心概念及分区消费规则

【上一篇[【Kafka】第一篇-初识Kafka][Kafka_-_Kafka]】学习路线 Kafka核心概念 Produc

àì夳堔傛蜴生んèń/ 2023年10月09日 14:11/ 0 赞/ 62 阅读

相关 Kafka核心概念

文章目录 1、Kafka集群结构 2、Kafka核心概念简介 1、Kafka集群结构 Kafka集群结构图如下： ![在这里插入图片描述][wat

逃离我推掉我的手/ 2023年07月17日 05:54/ 0 赞/ 34 阅读

相关 Kafka基础知识及核心概念入门

一.简介流平台具有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。处理记录流。 Kafka通常

- 日理万妓/ 2023年03月13日 02:08/ 0 赞/ 77 阅读

相关 kafka核心概念与应用场景

Kafka的主要特点 -------------------- Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分

r囧r小猫/ 2023年02月23日 08:42/ 0 赞/ 57 阅读

相关 kafka核心概念和角色

文章目录 1.概述 2.Producer 3.Consumer 4.Consumer

分手后的思念是犯贱/ 2023年02月19日 15:21/ 0 赞/ 34 阅读

相关 Kafka的核心概念

一、Producer 1. Producer 特指消息的生产者，消息和数据生产者，向 Kafka 的一个 topic 发布消息的过程叫做 producers。 2.

浅浅的花香味﹌/ 2022年05月26日 11:55/ 0 赞/ 253 阅读

相关 kafka 核心概念及快速入门

Kafka Kafka 核心概念什么是 Kafka Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是

痛定思痛。/ 2022年04月02日 09:21/ 0 赞/ 307 阅读

相关 hadoop 核心概念及入门

Hadoop Hadoop 核心概念什么是 Hadoop HADOOP是apache旗下的一套开源软件平台HADOOP提供利用服务器集群，根据用户的自定义业

喜欢ヅ旅行/ 2022年03月29日 18:58/ 0 赞/ 295 阅读