Flume-事务性、Agent内部原理及拓扑结构

布满荆棘的人生 2023-01-23 13:59 91阅读 0赞

# Flume进阶 #

## Flume的事务 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]

## Agent内部原理 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 1]

以上提到的put事务将会发生在6中，即将source数据推送到channel的过程中。

Replication Channel Selector的配置如下（可从官方用户手册获取到）：

![在这里插入图片描述][20210715150240616.png]

Multiplexing Channel Selector的配置如下：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 2]

Event的header是map，即KV键值对；body是具体的数据。

SinkProcessor，可以把多个sink分成一个组， 这时候Sink组逻辑处理器（Flume Sink Processors）可以对这同一个组里的几个sink进行负载均衡或者其中一个sink发生故障后将输出Event的任务转移到其他的sink上。

说的直白一些，这N个sink本来是要将Event输出到对应的N个目的地的，通过SinkProcessor就可以把这N个sink配置成负载均衡或者故障转移的工作方式（暂时还不支持自定义的）。 负载均衡就方式是把channel里面的Event按照配置的负载机制（比如轮询）分别发送到sink各自对应的目的地；故障转移就是这N个sink同一时间只有一个在工作，其余的作为备用，工作的sink挂掉之后备用的sink顶上。

![在这里插入图片描述][20210715150300637.png]

DefauleSinkProcessor：默认的组逻辑处理器就是只有一个sink的情况（准确说这根本不算一个组），所以这种情况就没必要配置sink组了

LoadBalancingSinkProcessor：负载均衡处理器，提供了在多个sink上进行负载均衡流量的功能。 它维护一个活动sink列表的索引来实现负载的分配。 默认支持了轮询（`round_robin`）和随机（`random`）两种选择机制分配负载。 默认是轮询，可以通过配置来更改。

配置及说明如下：

工作时，此选择器使用其配置的选择机制选择下一个sink并调用它。 如果所选sink无法正常工作，则处理器通过其配置的选择机制选择下一个可用sink。 此实现不会将失败的Sink列入黑名单，而是继续乐观地尝试每个可用的Sink。

如果所有sink调用都失败了，选择器会将故障抛给sink的运行器。

如果backoff设置为true则启用了退避机制，失败的sink会被放入黑名单，达到一定的超时时间后会自动从黑名单移除。 如从黑名单出来后sink仍然失败，则再次进入黑名单而且超时时间会翻倍，以避免在无响应的sink上浪费过长时间。 如果没有启用退避机制，在禁用此功能的情况下，发生sink传输失败后，会将本次负载传给下一个sink继续尝试，因此这种情况下是不均衡的。

![在这里插入图片描述][20210715150317532.png]

FailoverSinkProcessor：故障转移处理器维护了一个发送Event失败的sink的列表，保证有一个sink是可用的来发送Event。

配置及说明如下：

故障转移机制的工作原理是将故障sink降级到一个池中，在池中为它们分配冷却期（超时时间），在重试之前随顺序故障而增加。 Sink成功发送事件后，它将恢复到实时池。sink具有与之相关的优先级，数值越大，优先级越高。 如果在发送Event时Sink发生故障，会继续尝试下一个具有最高优先级的sink。 例如，在优先级为80的sink之前激活优先级为100的sink。如果未指定优先级，则根据配置中的顺序来选取。

要使用故障转移选择器，不仅要设置sink组的选择器为failover，还有为每一个sink设置一个唯一的优先级数值。 可以使用 *maxpenalty* 属性设置故障转移时间的上限（毫秒）。

![在这里插入图片描述][20210715150204445.png]

## 拓扑结构 ##

### 简单串联 ###

![在这里插入图片描述][2021071515015918.png]

这种模式是将多个flume顺序连接起来，从最终的source开始到最终的sink传送的目的存储系统。此模式不建议桥接过多的flume数量，flume数量过多不仅会影响传输速率，而且一旦传输过程中某个节点flume宕机，会影响整个传输系统。

### 复制和多路复用 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 3]

Flume支持将事件流向一个或多个目的地，这种模式可以将相同数据复制到多个channel中，或者将不通数据分发到不同的channel中，sink可以选择传送到不同的目的地。

### 负载均衡和故障转移 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 4]

Flume支持将多个sink逻辑分到一个sink组，sink组配合不同的SinkProcessor可以实现负载均衡和错误恢复的功能。

### 聚合 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 5]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70]: /images/20221004/8f04faa32f0d44d3973bb72861a890e0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 1]: /images/20221004/db1d1b87dfb745f9969eb1c852b90c57.png
[20210715150240616.png]: /images/20221004/92e2e17cfc9d443e810fea9b22c1331e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 2]: /images/20221004/3ccb6730c4714655afe5d3265bb2c1b8.png
[20210715150300637.png]: /images/20221004/5fab498bd4f04c47820cd15683fbdd1d.png
[20210715150317532.png]: /images/20221004/3833059272984811a8a2d013ed6afcc6.png
[20210715150204445.png]: /images/20221004/7db660ea4b32425196e01756161f79d3.png
[2021071515015918.png]: /images/20221004/9749333acec94bcd9eb090d5004fca8a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 3]: /images/20221004/76856258bbe14a59876542b9937a7972.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 4]: /images/20221004/1fe62d05d5df44c898203ea7e201b58e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NsZWFybHhq_size_16_color_FFFFFF_t_70 5]: /images/20221004/1549b9a127f34a33b5d629248eeb8970.png