Flume案例二：实时监控单个追加文件(tail -f 日志)(exec source)

爱被打了一巴掌 2022-10-09 06:29 198阅读 0赞

> 本文接上篇博客：[Flume介绍、安装、使用案例、自定义Source/Sink、监控][Flume_Source_Sink]  
> Flume 版本：1.9.0

## 1.实时监控单个追加文件(tail -f 日志)案例 ##

选型：`exec source` \+ `memory channel` \+ `logger sink`

> 文档参考：  
>  **exec source**：[http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#exec-source][http_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_exec-source]  
>  **memory channel**：[http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#memory-channel][http_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_memory-channel]  
>  **logger sink**：[http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html\#logger-sink][http_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_logger-sink]  
>    
> 提示：  
>   Exec source 适用于监控一个实时追加的文件，但不能保证数据不丢失；Spooling Directory Source 能够保证数据不丢失，且能够实现断点续传，但延迟较高，不能实时监控；而 Taildir Source 既能够实现断点续传，又可以保证数据不丢失，还能够进行实时监控，集两者优点于一身，更推荐使用Taildir Source。  
>    
> 推荐：  
>   如果你要使用 exec source，生产上更推荐使用 Taildir source，本文仅做了解学习使用。Taildir Source 参考：[https://blog.csdn.net/lzb348110175/article/details/118189312][https_blog.csdn.net_lzb348110175_article_details_118189312]

## 2.需求图示 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6YjM0ODExMDE3NQ_size_16_color_FFFFFF_t_70]

## 3.flume配置 ##

flume-exec-logger.conf

# Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # Describe/configure the source
    a1.sources.r1.type = exec
    a1.sources.r1.command = tail -F /opt/module/testdir/test.log
    a1.sources.r1.shell = /bin/sh -c
    
    # Describe the sink
    a1.sinks.k1.type = logger
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

> **tailf、tail -f、tail -F三者区别**  
> tail -f  
>  等同于–follow=descriptor，根据文件描述符进行追踪，当文件改名或被删除，追踪停止  
> tail -F  
>  等同于–follow=name --retry，根据文件名进行追踪，并保持重试，即该文件被删除或改名后，如果再次创建相同的文件名，会继续追踪  
> tailf  
>  等同于tail -f -n 10（貌似tail -f或-F默认也是打印最后10行，然后追踪文件），与tail -f不同的是，如果文件不增长，它不会去访问磁盘文件，所以tailf特别适合那些便携机上跟踪日志文件，因为它减少了磁盘访问，可以省电  
>    
> 常用操作：  
>  此时要想暂停刷新，使用【Ctrl】+【S】暂停终端。  
>  若想继续终端，使用【Ctrl】+【Q】  
>  若想退出tail命令，直接使用【Ctrl】+【C】

## 4.启动命令 ##

bin/flume-ng agent -c conf -n a1 -f job/flume-exec-logger.conf -Dflume.root.logger=INFO,console

## 5.测试图示 ##

> exec实时监听test.log文件，测试手动追加数据至test.log，flume 端能够正常接收，通过 logger 方式输出，如图所示：

![在这里插入图片描述][20210624133159196.gif]

--------------------

**博主写作不易，加个关注呗**

**求关注、求点赞，加个关注不迷路 ヾ(◍°∇°◍)ﾉﾞ**

**我不能保证所写的内容都正确，但是可以保证不复制、不粘贴。保证每一句话、每一行代码都是亲手敲过的，错误也请指出，望轻喷 Thanks♪(･ω･)ﾉ**

[Flume_Source_Sink]: https://blog.csdn.net/lzb348110175/article/details/118154430
[http_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_exec-source]: http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#exec-source
[http_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_memory-channel]: http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#memory-channel
[http_flume.apache.org_releases_content_1.9.0_FlumeUserGuide.html_logger-sink]: http://flume.apache.org/releases/content/1.9.0/FlumeUserGuide.html#logger-sink
[https_blog.csdn.net_lzb348110175_article_details_118189312]: https://blog.csdn.net/lzb348110175/article/details/118189312
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2x6YjM0ODExMDE3NQ_size_16_color_FFFFFF_t_70]: /images/20221005/dd55e2b4326444fabca0061c0486d7ef.png
[20210624133159196.gif]: /images/20221005/0471ba28163f4c8ba260b1820e2f7e8d.png