大数据协作框架之Flume

谁借莪１个温暖的怀抱￠ 2021-09-14 02:34 434阅读 0赞

# 一、Flume概述 #

Flume是一个分布式的，可靠的，可用的，非常有效率的对大数据量的日志数据进行收集、聚集、移动信息的服务。Flume仅仅运行在Linux环境下。

它是一个基于流式的数据的非常简单的（只需要写一个配置文件）、灵活的架构，它也是一个健壮的、容错的。它用一个简单的扩展数据模型用于在线实时应用分析。它的简单表现为：写个source、channel、sink，之后一条命令就能操作成功了。

Flume、kafka实时的进行数据收集，spark，storm实时去处理，impala实时去查询。

# 二、Flume架构 #

> > > ![Center][]

Flume-ng只有一个角色的节点：agent。Agent由source、channel和sink组成。

![Center 1][]

# 三、Event #

Event是Flume数据传输的基本单元。Flume以事件的形式将数据从源头传送到最终的目的地。Event由可选的header和载有数据的一个byte array构成。其中，载有的数据对Flume是不透明的，Header是容纳了key-value字符串的无序集合，key在集合内是唯一的，Header可以在上下文路由中使用扩展。

![Center 2][]

Source监控某个文件，将数据拿到，封装在一个event中，并put/commit到channel中，channel是一个队列，队列的有点就是先进先出，放好之后尾部一个个event出来，sink主动去从channel中去拉数据，sink再把数据写到某个地方，比如HDFS上面。

# 四、Flume的特点 #

## 4.1复杂流动性 ##

Flume允许用户进行多级流动到最终目的地，也允许扇出流（一到多）、扇入流(多到一)的、故障转移和失败处理。

## 4.2可靠性 ##

事务性的数据传递，保证了数据的可靠性。

## 4.3 可恢复性 ##

通道可以以内存或文件的方式实现，内存更快，但是不可恢复，而文件虽然比较慢但提供了可恢复性。

[Center]: /images/20210726/4c531c91d4854a9e8b371eec23d072b4.png
[Center 1]: /images/20210726/2071920107b042458beca87765c3e71d.png
[Center 2]: /images/20210726/95c62250a51d4945911ed1f7000ec299.png