大数据-kafka学习（三）——Kafka Broker

我就是我 2023-09-30 12:59 73阅读 0赞

**目录**

一、Kafka Broker工作

1.1 、zookeeper中存储的kafka信息

1.2、broker总体工作流程

二、kafka副本

2.1、副本的基本信息

2.2、Leader选举流程

2.3、Leader 和 Follower 故障处理细节

1、Leader故障处理

2、Follower故障处理

## 一、Kafka Broker工作 ##

### 1.1 、zookeeper中存储的kafka信息 ###

> 在zookeeper的服务器端存储的Kafka相关信息：
> 
>  *  /brokers/ids \[0,1,2\] 记录有哪些服务器
>  *  /brokers/topics/first/partitions/0/state \{"leader":1,"isr":\[1,0,2\]\} 记录谁是Leader，有哪些服务器可用
>  *  /controller \{"brokerid":0\} 辅助选举Leader![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16][]

### 1.2、broker总体工作流程 ###

> ![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

## 二、kafka副本 ##

### 2.1、副本的基本信息 ###

> 1.  Kafka副本作用：提高数据可靠性
> 2.  Kafka默认副本1个，生产环境一般配置为2个，保证数据可靠性；太多副本会增加磁盘存储空间，增加网络上的传输，降低效率。
> 3.  Kafka中副本分为：Leader 和 Follower。Kafka生产者只会把数据发往Leader，然后Follower找Leader进行同步数据
> 4.  Kafka分区中的所有副本统称为AR（Assigned Repllicas）
> 
>  **AR = ISR + OSR**
> 
> **ISR**:表示和Leader保持同步的Follower集合，如果Follower长时间未向Leader发送通信请求或者同步数据，则该Follower将被踢出ISR。该时间阈值由**replica.lag.time.max.ms**参数设定，，默认30s。Leader发生故障之后，就会从ISR中选举新的Leader。
> 
> **OSR**：表示Follower与Leader副本同步时，延迟过多的副本。

### 2.2、Leader选举流程 ###

> Kafka集群中有一个broker的Cntroller会被选举为Controller Leader，负责管理集群broker的上下线，所有topic的分区副本分配和Leader选举等工作。
> 
> **Controller**的信息同步工作是依赖于**Zookeeper**的。
> 
> 选举规则：在**ISR**中存活为前提，按照AR中排在前面的优先。  
> 例如：**AR**【1，0，2】、**ISR**【1，0，2】，那么Leader就会按照【1，0，2】进行轮询产生 ![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

### 2.3、Leader 和 Follower 故障处理细节 ###

**LEO(Log End Offset)**: 每个副本等最后一个offset,LEO其实就是最新的offset+1

**HW(High Watermark)** :所有副本中最小的LEO

#### 1、Leader故障处理 ####

> ![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 2][]
> 
> 1.  Leader发生故障之后，会从ISR中选出一个新的Leader
> 2.  为保证多个副本之间的数据一致性，其余的Follower会先将各自的log文件高于HW的部分截掉，然后从新的Leader同步数据。
> 
>  **注意：这只能保证副本之间的数据一致性，并不能保证数据不丢失或者不充分**

#### 2、Follower故障处理 ####

> ![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 3][]
> 
> 1.  Follower发生故障后被临时踢出ISR
> 2.  这个期间Leader 和Follower继续接收数据
> 3.  待该Follower恢复后，Follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉，从HW开始向Leader进行同步
> 4.  等该Follower的LEO大于该Partition的HW，即Follower追上Leader之后，就可以重新加入ISR了。

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/296c022bfaee4428ae46df417e924a78.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5py65pm65YW1,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/9c45bcb51e4e45d185bca82678887ba5.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5py65pm65YW1,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/0afeaa9e8be146c793e003be00c95217.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5py65pm65YW1,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA5py65pm65YW1_size_20_color_FFFFFF_t_70_g_se_x_16 3]: https://img-blog.csdnimg.cn/dc4431797bab456ab064b55c0afd13a2.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA5py65pm65YW1,size_20,color_FFFFFF,t_70,g_se,x_16