Flume-事务机制，Flume Agent内部原理

谁践踏了优雅 2022-11-25 13:10 168阅读 0赞

### 文章目录 ###

*   *  Flume事务机制
     *  Flume Agent内部原理

## Flume事务机制 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]  
Source到Channel为-Put事务-流程  
doPut：将批数据先写入临时缓冲区 putList  
doCommit：检查 channel 内存队列是否足够合并  
doRollback：channel 内存队列空间不足，回滚数据

Channel到Sink为-Take事务-流程  
doTake：将数据取到临时缓冲区 takeList，并将数据发送到 HDFS  
doCommit：如果数据全部发送成功，则清除临时缓冲区 takeList  
doRollback：数据发送过程中如果出现异常，rollback 将临时缓冲区 takeList 中的数据归还给 channel 内存队列

数据丢失问题？

根据Flume的架构原理，采用FileChannel的Flume是不可能丢失数据的，因为其内部有完善的事务机制（ACID）。

put 和 take 这两个事务是独立的，并且这两个环节都不可能丢失数据，唯一可能丢失数据的是 Channel 采用 MemoryChannel：

*  \[1 \] 在 Agent 宕机时候导致数据在内存中丢失
 *  \[2 \] Channel 存储数据已满，导致 Source 不再写入数据，造成未写入的数据丢失

注：Flume不会丢失数据，但是可能会造成数据重复，例如数据已经由Sink发出，但是没有接收到响应，Sink会再次发送数据，导致数据重复

## Flume Agent内部原理 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 1]  
**重要组件：**

**1）Channel Selector**

Channel Selector 的作用就是选出 Event 将要被发往哪个 Channel。其共有两种类型，分别是Replicating（复制）和Multiplexing（多路复用）。

`Replicating Channel Selector`：会将同一个Event发往所有与其绑定的Channel中。默认属性可以省略定义

`Multiplexing Channel Selector`：会根据相应的原则（根据 Event 的 header中 key对应的value值不同），将不同的Event发往不同的Channel。

**2）Sink Processor**

Sink Processor：是将一个 flume-agent 中的多个 sink 定义到一个Sinkgroups 组中，使组内多 sink 之间实现 故障转移 或 负载均衡。  
共有三种类型：DefaultSinkProcessor、LoadBalancingSinkProcessor和FailoverSinkProcessor

DefaultSinkProcessor：对应的是单个的Sink，

`LoadBalancingSinkProcessor` 和 `FailoverSinkProcessor`：对应的是Sink Group

*  Load Balancing Sink Processor ：可以实现负载均衡的功能，可以配置同属一个组的多个 sink 之间负载平衡的能力，支持通过round\_robin（轮询）或 random（随机）参数来实现事件的分发，默认情况下使用 round\_robin，也可以自定义分发机制，通常是多个sink绑定在同一个channel上  
    ![在这里插入图片描述][20200813233543881.jpg_pic_center]
 *  Failover Sink Processor ：可以实现故障转移的功能，通过配置维护了多个 sink 组成的优先级列表，需要为所有的sink分配优先级，所有的优先级数字必须是唯一的，数字越大表示优先获取channel数据，搭配 Replicating Channel Selector 使用![在这里插入图片描述][20200813233616589.jpg_pic_center]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]: /images/20221124/0999e70b6ce144e5b4363a13409b55ca.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 1]: /images/20221124/eb182192c92a4585bc90d54046aba80e.png
[20200813233543881.jpg_pic_center]: /images/20221124/54aea5cf8fae4e74ab68a5158fc19fe3.png
[20200813233616589.jpg_pic_center]: /images/20221124/ca5c7a61f14545d6b4fb2aedfe1c7054.png