轻松入门大数据第13章进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.5 【重要必掌握】生产场景理解

偏执的太偏执、 2024-03-16 15:18 20阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第13章 进阶实战：如何基于Flume实战日志数据收集
         *   *  13.1 日志收集框架Flume进阶
             *   *  13.1.5 【重要必掌握】生产场景理解

![在这里插入图片描述][c02390ed590143ec8de09f7e547ed96a.png_pic_center]

#### 第13章 进阶实战：如何基于Flume实战日志数据收集 ####

##### 13.1 日志收集框架Flume进阶 #####

> 1.  文件数据收集到HDFS
> 2.  文件夹数据收集到HDFS
> 3.  **TAILDIR方式收集**
> 4.  **avrosink配合avrosource使用**
> 5.  **Channel Selector实战**
> 6.  **Sink Processor实战**

###### 13.1.5 【重要必掌握】生产场景理解 ######

之前我们已经对一个文件或文件夹进行了监控，并且体验了断点续传的功能。

现在来看一些更复杂的实际场景：

【跨集群】

![在这里插入图片描述][07e9cde64b2d4a3ba24b0c0a571a6785.png_pic_center]

两个集群，有些不同的机器，下面的机器如果想收集到上面机器中的数据

Agent 选型：

*  Source：TAILDIR
 *  Channel：Memory / file
 *  Sink：avro sink

中间找一台中转的机器

![在这里插入图片描述][3e23718d584d4e6bb989031addc1cf0b.png_pic_center]

当然这样就涉及到Agent 级联的问题了，一个Agent 已经解决不了我们的问题了

![在这里插入图片描述][ba64cb3fad9748e390b8f6074bf356eb.png_pic_center]

但是如果哈，很多机器都往这台中转机上写，扛得住吗？【HA 高可用问题又来了】

这整个场景我们需要记住的点：

*  AVRO-SINK 和 AVRO-SOURCE 配对使用
 *  高可用HA 问题

[c02390ed590143ec8de09f7e547ed96a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e7ec958afc9f4dd985df64acec3e2879.png
[07e9cde64b2d4a3ba24b0c0a571a6785.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/62b8f010bee841c093ebc5e580246137.png
[3e23718d584d4e6bb989031addc1cf0b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1e0c042517094cb49112e60f5f4facf7.png
[ba64cb3fad9748e390b8f6074bf356eb.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/cbd9c7dc4b4144f6aeb455324ac1a292.png