轻松入门大数据第13章进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.2 实战之监控某个文件夹下新增的内容并输出到HDFS

小灰灰 2024-03-16 14:00 53阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第13章 进阶实战：如何基于Flume实战日志数据收集
         *   *  13.1 日志收集框架Flume进阶
             *   *  13.1.2 实战之监控某个文件夹下新增的内容并输出到HDFS

![在这里插入图片描述][00b78d759d8344ff876f35a5500283ea.png_pic_center]

#### 第13章 进阶实战：如何基于Flume实战日志数据收集 ####

##### 13.1 日志收集框架Flume进阶 #####

> 1.  文件数据收集到HDFS
> 2.  文件夹数据收集到HDFS
> 3.  **TAILDIR方式收集**
> 4.  **avrosink配合avrosource使用**
> 5.  **Channel Selector实战**
> 6.  **Sink Processor实战**

###### 13.1.2 实战之监控某个文件夹下新增的内容并输出到HDFS ######

之前我们已经完成了对某个文件内容的监听，现在试试新需求：

需求：监听某个【文件夹】中的内容，收集到HDFS上去

选型：

*  Source：  
    Spooling Directory Source

官网文档：[https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#spooling-directory-source][https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_spooling-directory-source]

![在这里插入图片描述][c1f944e383ce4d9fadf4a6864750554c.png_pic_center]

此源允许您通过将要摄取的文件放入磁盘上的“假脱机”目录来摄取数据。此源将监视指定目录中的新文件，并在新文件出现时从中解析事件。事件解析逻辑是可插入的。在给定文件已完全读入通道后，默认情况下通过重命名文件来指示完成，或者可以删除它或使用 trackerDir 来跟踪已处理的文件。

与 Exec 源不同，这个源是可靠的，不会丢失数据，即使 Flume 被重启或被杀死。为了换取这种可靠性，只有不可变的、唯一命名的文件必须放入假脱机目录中。Flume 尝试检测这些问题条件，如果违反它们，将会大声失败：

1.  如果文件在放入假脱机目录后被写入，Flume 将在其日志文件中打印错误并停止处理。
2.  如果稍后重用文件名，Flume 将在其日志文件中打印错误并停止处理。

为避免上述问题，在将日志文件移动到假脱机目录时，将唯一标识符（例如时间戳）添加到日志文件名可能会很有用。

尽管此源具有可靠性保证，但如果发生某些下游故障，仍然存在事件可能重复的情况。这与其他 Flume 组件提供的保证一致。

*  Channel：  
    Memory Channel
 *  Sink:  
    HDFS Sink

修改配置文件：

spool-memory-hdfs.sources = spool-source
    spool-memory-hdfs.sinks = hdfs-sink
    spool-memory-hdfs.channels = memory-channel
    
    spool-memory-hdfs.sources.spool-source.type = spooldir
    spool-memory-hdfs.sources.spool-source.spoolDir = /home/hadoop/data/spool_data
    
    spool-memory-hdfs.channels.memory-channel.type = memory
    
    spool-memory-hdfs.sinks.hdfs-sink.type = hdfs
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.path = hdfs://hadoop000:8020/data/flume/spool
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.fileType = DataStream
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.writeFormat = Text
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.batchSize = 100
    
    spool-memory-hdfs.sources.spool-source.channels = memory-channel
    spool-memory-hdfs.sinks.hdfs-sink.channel = memory-channel

来个新的配置文件`spool-memory-hdfs.conf`

![在这里插入图片描述][1fbab60b3d31427e85e3ad8ff702b0b7.png_pic_center]

把监听的路径创建出来

![在这里插入图片描述][a227ab8a5e284760a2254f93deaa05b0.png_pic_center]

运行命令：

flume-ng agent \
    --name spool-memory-hdfs \
    --conf $FLUME_HOME/conf \
    --conf-file /home/hadoop/config/spool-memory-hdfs.conf \
    -Dflume.root.logger=INFO,console

![在这里插入图片描述][ef99d54099774e228cdbc297e29d0ee3.png_pic_center]

OK， 加个权限

![在这里插入图片描述][fe7bb200d8224e0a943ac12c2640b82f.png_pic_center]

再试一次

![在这里插入图片描述][74040b2e0c7d48069cdd940e625aa442.png_pic_center]

OK， 启动成功

这里老师用到了它的一个文件，但是前面我也没拿到，就只有看老师操作了

我们还可以修改几个参数：【加了前缀和压缩】

spool-memory-hdfs.sources = spool-source
    spool-memory-hdfs.sinks = hdfs-sink
    spool-memory-hdfs.channels = memory-channel
    
    spool-memory-hdfs.sources.spool-source.type = spooldir
    spool-memory-hdfs.sources.spool-source.spoolDir = /home/hadoop/data/spool_data
    
    spool-memory-hdfs.channels.memory-channel.type = memory
    
    spool-memory-hdfs.sinks.hdfs-sink.type = hdfs
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.path = hdfs://hadoop000:8020/data/flume/spool
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.fileType = CompressedStream
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.codeC = gzip
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.batchSize = 100
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.filePrefix = events-
    
    
    spool-memory-hdfs.sources.spool-source.channels = memory-channel
    spool-memory-hdfs.sinks.hdfs-sink.channel = memory-channel

![在这里插入图片描述][9d2301b3079c4a81ac6591526f9ef42f.png_pic_center]

修改配置文件重新来一次

![在这里插入图片描述][913a1921565c4feeb2529a61aa3ddb9b.png_pic_center]

OK，随便复制一个文件到那个目录去

![在这里插入图片描述][e4de13ad24744e7588e24d8930795289.png_pic_center]

![在这里插入图片描述][0b5cb8aca41d4dc49e7972eca75d2272.png_pic_center]

看那边

![在这里插入图片描述][d0ec5e2db0f646f18784f14326d1c5a1.png_pic_center]

可以看到又刷了一堆日志

看看HDFS

![在这里插入图片描述][1d5a6d4825874dd1872b7668c44398bf.png_pic_center]

![在这里插入图片描述][f16b71c803554425af59a8aec51c53d6.png_pic_center]

每个里面是压缩后的东西，但是文件还是太小了【小文件问题】，如果我们的文件非常大，那就直接事故了

删掉HDFS 那个目录下的东西：

hadoop fs -rm -r hdfs://hadoop000:8020/data/flume/spool

![在这里插入图片描述][ad4d91daa48c48d2af15ae1f5605394e.png_pic_center]

![在这里插入图片描述][09855630fb47482f85f99f8f20b322a1.png_pic_center]

现在我们来解决一下小文件问题，刚刚我们可以看到

![在这里插入图片描述][d69907530e50474fa1f87b1ccaf15031.png_pic_center]

就一个3.2KB 的文件放进去，都产生了如此多的文件，显然是不合理的

![在这里插入图片描述][9150214bfc454be59ba324c2109e7dbf.png_pic_center]

这个监控文件夹下的东西也清掉

还是根据官网文档进行参数配置就行：[https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#hdfs-sink][https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_hdfs-sink]

![在这里插入图片描述][7351752e21a74aad9bb1d17898adb046.png_pic_center]

修改配置文件：

spool-memory-hdfs.sources = spool-source
    spool-memory-hdfs.sinks = hdfs-sink
    spool-memory-hdfs.channels = memory-channel
    
    spool-memory-hdfs.sources.spool-source.type = spooldir
    spool-memory-hdfs.sources.spool-source.spoolDir = /home/hadoop/data/spool_data
    
    spool-memory-hdfs.channels.memory-channel.type = memory
    
    spool-memory-hdfs.sinks.hdfs-sink.type = hdfs
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.path = hdfs://hadoop000:8020/data/flume/spool
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.fileType = CompressedStream
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.codeC = gzip
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.batchSize = 100
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.filePrefix = events-
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.rollInterval = 30
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.rollSize = 134217728
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.rollCount = 1000000
    
    
    spool-memory-hdfs.sources.spool-source.channels = memory-channel
    spool-memory-hdfs.sinks.hdfs-sink.channel = memory-channel

这样配置的意思就是按照30s间隔， 要么128M，要么10万条

![在这里插入图片描述][2f833661d97a4ad0829ba310e7e87468.png_pic_center]

我们那个文件里面就这么200 行数据

OK，修改完后，

![在这里插入图片描述][9d630b2419b04b5a9415a0eb9217512f.png_pic_center]

重启

![在这里插入图片描述][2e66e991b818489ebc188ad7534f0c78.png_pic_center]

OK， 再次拷贝

![在这里插入图片描述][7e77206e788a4815ae67cf5ac2142e83.png_pic_center]

![在这里插入图片描述][a0c95a501941404f8ac68cd995764fcd.png_pic_center]

这次就没刷日志了，看看HDFS

![在这里插入图片描述][f5a88b05b6c643e482824c67f48f2cbd.png_pic_center]

这次就一个文件，而且压缩过

而且如果我们比较快的给它连续复制入多个文件

![在这里插入图片描述][08fe07e966044822a998d3da4e2a5ec5.png_pic_center]

它最终也只会生成一个文件，笔者这里重新来了一次

![在这里插入图片描述][36e7e79af68d44f1850dade9b406d473.png_pic_center]

![在这里插入图片描述][334dc51c9f164c5987a12cb1d5f8af45.png_pic_center]

![在这里插入图片描述][80f6b70c840f4b74831707a3c308bc21.png_pic_center]

三次拷贝最终生成了一个文件

![在这里插入图片描述][fe1d16ae62614db8a6987b9a8a64782e.png_pic_center]

而且在这个监听文件下下，拷贝进去的文件都进行了改名操作

文件处理完，就会标记一个`COMPLETED`，以表示改文件已经处理完毕

而且如果我们想拷贝入一个相同的文件名

![在这里插入图片描述][cff9d736bbb344f0b340693670e13db4.png_pic_center]

![在这里插入图片描述][060b82dbf88e4dd9bdf7462a4660c86f.png_pic_center]

终端会直接报错

![在这里插入图片描述][05da83cbd0d24271abc718697e4e29ba.png_pic_center]

这边是进来了，但是并没有处理

![在这里插入图片描述][97d99a607d0645f181c3600224f82a7c.png_pic_center]

还是写进去了

![在这里插入图片描述][e5edf284458744bfb0e5e5dc01d6cb82.png_pic_center]

> 总之记住，名字不能重复，老师没讲，我问了一下ChatGPT
> 
> ![在这里插入图片描述][835609db3abf4b41957fde684c5a3ecf.png_pic_center]
> 
> 当使用Flume监听文件夹时，如果出现文件名重复的情况，Flume仍然会将这些文件传输到HDFS。这是因为Flume在处理文件时通常依赖于文件的元数据，例如文件的大小、修改时间等，而不仅仅是文件名。即使文件名相同，但其元数据不同（例如大小或修改时间），Flume仍会将其视为不同的文件，并将其传输到HDFS。
> 
> 这种行为是Flume的默认行为，因为它假设文件名的重复可能是由于文件内容的更新或其他变化而导致的。如果您希望在Flume监听文件夹时避免重复文件的传输，您可以考虑进行以下操作：
> 
> 1.  在Flume配置中使用Interceptors（拦截器）：您可以使用Flume的Interceptors功能，在文件传输之前对文件进行预处理。通过实现自定义的拦截器，您可以根据自己的需求检查文件的元数据，并决定是否传输文件到HDFS。例如，您可以比较文件的大小或修改时间与已传输文件的记录，并根据需要决定是否传输。
> 2.  在目标端（HDFS）进行文件去重：您可以在接收到文件之后，在HDFS端进行文件去重操作。这可以通过在HDFS上使用工具或脚本来实现，例如通过比较文件的内容哈希值或其他标识符，并排除重复的文件。
> 
> 这些方法可以帮助您避免在Flume监听文件夹时将重复的文件传输到HDFS。您可以根据自己的需求选择适合的方法来处理重复文件。
> 
> 解释得很清楚，但是我们使用的时候还是要避免这种情况，毕竟Flume 已经报错了

官网的解释：[https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#spooling-directory-source][https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_spooling-directory-source]

![在这里插入图片描述][a3b056c7f1234028a4a3e7a571375be3.png_pic_center]

[00b78d759d8344ff876f35a5500283ea.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ebfccaea0fd24b77be6f5e1385fa1392.png
[https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_spooling-directory-source]: https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#spooling-directory-source
[c1f944e383ce4d9fadf4a6864750554c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4eef88aba6764cc08ed89afcc2e865fb.png
[1fbab60b3d31427e85e3ad8ff702b0b7.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/84d92e7e51564ecb84f778e7890170e1.png
[a227ab8a5e284760a2254f93deaa05b0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/3eff0ab93aca46fb8758ca7c046285ce.png
[ef99d54099774e228cdbc297e29d0ee3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/4b09267b1be84a3499fe779fee730a94.png
[fe7bb200d8224e0a943ac12c2640b82f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e39a315df5ed4ff5bfd049043fc84702.png
[74040b2e0c7d48069cdd940e625aa442.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/d59283296dc74042b3ec54a39b1e80b6.png
[9d2301b3079c4a81ac6591526f9ef42f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6a4aa9d0c96242f2867deb6cf4c2ba27.png
[913a1921565c4feeb2529a61aa3ddb9b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a30b1e565a0d4513ac4c9b29ba56d0a7.png
[e4de13ad24744e7588e24d8930795289.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a210cb0624e94c3eb7adaa8b6bb312f5.png
[0b5cb8aca41d4dc49e7972eca75d2272.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/da16f1ea53f544419bec1e6c19f35081.png
[d0ec5e2db0f646f18784f14326d1c5a1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f224f2d370b343579e25dae0c0484c28.png
[1d5a6d4825874dd1872b7668c44398bf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9cbbd3309c63444680f48adc7e7ec82f.png
[f16b71c803554425af59a8aec51c53d6.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1fab343a95cf43b0be00cfea8c3940c9.png
[ad4d91daa48c48d2af15ae1f5605394e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/11329026abb947c7b9d6990c3c526086.png
[09855630fb47482f85f99f8f20b322a1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/b802e431bb9445b8aa84a3a094981c97.png
[d69907530e50474fa1f87b1ccaf15031.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e136c36e6b9b4926a3e42b698951c5fb.png
[9150214bfc454be59ba324c2109e7dbf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f4871e79000e492c9be55493ddc09771.png
[https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_hdfs-sink]: https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hdfs-sink
[7351752e21a74aad9bb1d17898adb046.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e7279efda10740ada9dca6fe3b16c3dc.png
[2f833661d97a4ad0829ba310e7e87468.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/7dd214ea7ce94cd0948e7d5ce7d0203d.png
[9d630b2419b04b5a9415a0eb9217512f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/39e3ab2d5610461eaed538d973393579.png
[2e66e991b818489ebc188ad7534f0c78.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/6a7888cd485b4edd9f9581485cee8fb7.png
[7e77206e788a4815ae67cf5ac2142e83.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/2c24a46684b34a68affd1ddf129de055.png
[a0c95a501941404f8ac68cd995764fcd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/a9e5b28b40824b3fb3e025328b0e9c9d.png
[f5a88b05b6c643e482824c67f48f2cbd.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/e69844a782c8488ca18795e1091dc578.png
[08fe07e966044822a998d3da4e2a5ec5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/352cf056d87e4dc09e76cc0840145689.png
[36e7e79af68d44f1850dade9b406d473.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/ae7b0bdcd9ee48ca94708b6787de5585.png
[334dc51c9f164c5987a12cb1d5f8af45.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/77e191f9e7b04c408b5b1c9ae64be25b.png
[80f6b70c840f4b74831707a3c308bc21.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c891daac96184045bfb640dd72ab0683.png
[fe1d16ae62614db8a6987b9a8a64782e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/90b966c3af1641afa050792f3556211e.png
[cff9d736bbb344f0b340693670e13db4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/80987ba5204e4698bcab851b28bdfa01.png
[060b82dbf88e4dd9bdf7462a4660c86f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/63f05b50b7794c9b8c553a2899c12d79.png
[05da83cbd0d24271abc718697e4e29ba.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/55249b1206fe489ab1e3ab70b3a8e8e8.png
[97d99a607d0645f181c3600224f82a7c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/9c7a2d82162a4c31a25368f71c49acda.png
[e5edf284458744bfb0e5e5dc01d6cb82.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/0ffb14e8f1f14dcb98d772afcd8ba1ec.png
[835609db3abf4b41957fde684c5a3ecf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/8456a135dc1b4d518ffa9ca12dcf4ff1.png
[a3b056c7f1234028a4a3e7a571375be3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/c509421feb3c4d21af2829574140f0aa.png