轻松入门大数据第13章进阶实战：如何基于Flume实战日志数据收集 13.1 日志收集框架Flume进阶 13.1.3 实战之监控某个文件夹下新增的内容并输出到HDFS分区中

淡淡的烟草味﹌ 2024-03-16 14:24 34阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第13章 进阶实战：如何基于Flume实战日志数据收集
         *   *  13.1 日志收集框架Flume进阶
             *   *  13.1.3 实战之监控某个文件夹下新增的内容并输出到HDFS分区中

![在这里插入图片描述][9d8ed2a793e54f9a8032fd659787dbca.png_pic_center]

#### 第13章 进阶实战：如何基于Flume实战日志数据收集 ####

##### 13.1 日志收集框架Flume进阶 #####

> 1.  文件数据收集到HDFS
> 2.  文件夹数据收集到HDFS
> 3.  **TAILDIR方式收集**
> 4.  **avrosink配合avrosource使用**
> 5.  **Channel Selector实战**
> 6.  **Sink Processor实战**

###### 13.1.3 实战之监控某个文件夹下新增的内容并输出到HDFS分区中 ######

现在的问题是，只要是文件夹中的数据新增

![在这里插入图片描述][c2dad6b4e9174d30b3ca5ce4d1a793cf.png_pic_center]

它都会搞到这一个目录下，这样不太好，我希望比如说今天的数据放一个分区，明天的数据再放一个数据

【需求：监听某个文件夹中的内容，收集到HDFS上去，并指定分区】

其实官网的介绍也提到了

[https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#hdfs-sink][https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_hdfs-sink]

![在这里插入图片描述][407cdd3320af425dbeb74583039540f9.png_pic_center]

OK， 还是修改配置文件：

spool-memory-hdfs.sources = spool-source
    spool-memory-hdfs.sinks = hdfs-sink
    spool-memory-hdfs.channels = memory-channel
    
    spool-memory-hdfs.sources.spool-source.type = spooldir
    spool-memory-hdfs.sources.spool-source.spoolDir = /home/hadoop/data/spool_data
    
    spool-memory-hdfs.channels.memory-channel.type = memory
    
    spool-memory-hdfs.sinks.hdfs-sink.type = hdfs
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.path = hdfs://hadoop000:8020/data/flume/spool/logs/%m%d%H%M
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.useLocalTimeStamp = true
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.round = true
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.roundValue = 1
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.roundUnit = minute
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.fileType = CompressedStream
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.codeC = gzip
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.batchSize = 100
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.filePrefix = events-
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.rollInterval = 30
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.rollSize = 134217728
    spool-memory-hdfs.sinks.hdfs-sink.hdfs.rollCount = 1000000
    
    
    spool-memory-hdfs.sources.spool-source.channels = memory-channel
    spool-memory-hdfs.sinks.hdfs-sink.channel = memory-channel

![在这里插入图片描述][c030d35e348e4cefb6fc6c5a666cbfe3.png_pic_center]

重启

![在这里插入图片描述][d32f782a3b8b41ef8658d93b3053c3f9.png_pic_center]

启动成功，拷贝一个文件进去

![在这里插入图片描述][7e5fe479f986473d9498a9d4c14f3451.png_pic_center]

![在这里插入图片描述][e2b436afc4cf42929730714c2bd036a8.png_pic_center]

在处理了

![在这里插入图片描述][915c3c5d066243fba4d69c4501f5165f.png_pic_center]

可以看到它是先搞了一个文件夹，再把我们的文件压缩放进去了

而且这个文件夹的名字是 `月日时分`

![在这里插入图片描述][18a55158e5a34e49a88b2f00c06644f1.png_pic_center]

现在再来一个，已经43了

![在这里插入图片描述][39bc06a0c501442a839ebeea38ea4ae3.png_pic_center]

![在这里插入图片描述][81cca4adf5e240a895cb7923fe16f6c0.png_pic_center]

没问题的。这就是根据时间进行分区，把数据写到不同的分区中去

[9d8ed2a793e54f9a8032fd659787dbca.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/68b4cdca097446c597604a0c49e43e1c.png
[c2dad6b4e9174d30b3ca5ce4d1a793cf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/deabb73ad6ed481e9a44e6bc8e52555d.png
[https_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_hdfs-sink]: https://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#hdfs-sink
[407cdd3320af425dbeb74583039540f9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/be90fc5d573449e3b758664fa2cf81ea.png
[c030d35e348e4cefb6fc6c5a666cbfe3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f3dbfb72b7a143268119cc6bb3727c75.png
[d32f782a3b8b41ef8658d93b3053c3f9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/f5a2c69c774949c1a7281f2694b4eef5.png
[7e5fe479f986473d9498a9d4c14f3451.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/358478e5cfcc453cb69c803fa6318b29.png
[e2b436afc4cf42929730714c2bd036a8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/800973d1d8c94a04ade29c412f105064.png
[915c3c5d066243fba4d69c4501f5165f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/1dda189067b541ff8a69a662837b00de.png
[18a55158e5a34e49a88b2f00c06644f1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/5f5dfd36a39543c5bd6d0040825ec9a5.png
[39bc06a0c501442a839ebeea38ea4ae3.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/880fe17f1c7443f89a7d7fcb3b3cba9e.png
[81cca4adf5e240a895cb7923fe16f6c0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/16/64e707d8c2a74547bedce5051c6b73ca.png