二.Spark Streaming之日志收集框架Flume实战(二)

谁借莪１个温暖的怀抱￠ 2022-04-17 05:12 215阅读 0赞

**1.需求**  
    监控一个文件实时采集新增的数据输出到控制台

**2.创建配置文件**  
    在conf下创建一个名为exec-memory-logger.conf的文件,在文件中加入以下配置:

# Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # Describe/configure the source
    #配置类型
    a1.sources.r1.type = exec
    #命令道具体的文件
    a1.sources.r1.command = tail -F /root/data/data.log
    a1.sources.r1.shell = /bin/sh -c
    
    # Describe the sink
    a1.sinks.k1.type = logger
    
    #Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

**3.启动**

flume-ng agent --name a1 --conf $FLUME_HOME/conf --conf-file $FLUME_HOME/conf/exec-memory-logger.conf -Dflume.root.logger=INFO,console

启动成功的界面:  
![在这里插入图片描述][20181113152704923.png]  
**4.向data.log中添加数据**

echo hello >> data.log
    echo ligh  >> data.log
    echo welcome >> data.log

**5.控制台结果显示**  
![在这里插入图片描述][20181113152847256.png]

拓展:  
打印在控制台上面的数据也可以存储到HDFS中,只不过是离线的数据,后面会讲通过kafka实时的存储数据,详细的配置见[  
官网链接][Link 1]

[20181113152704923.png]: /images/20220417/3c76e52b84b9491d90eb91e0b7e6bf7d.png
[20181113152847256.png]: /images/20220417/29bb67579d3b47c5bf312395fc50b70b.png
[Link 1]: http://flume.apache.org/FlumeUserGuide.html

发表评论取消回复

表情：

评论列表（有 0 条评论，215人围观）

还没有评论，来说两句吧...

相关阅读

相关 DStream实战之Spark Streaming整合fulme实战, Flume向Spark Streaming中push推数据 36

前言本文所需要的安装包&Flume配置文件,博主都已上传,链接为[本文涉及安装包&Flume配置文件][Flume]本文涉及的安装包&Flume配置文件,请自行下载~

Myth丶恋晨/ 2023年05月29日 03:35/ 0 赞/ 14 阅读

相关大数据日志收集框架之Flume实战

目录一、环境准备 1、安装包下载 2、安装flume 3、修改配置文件二、配置环境变量 1、配置java环境变量 2、配置flume环境变量三、flum

谁践踏了优雅/ 2022年11月21日 09:52/ 0 赞/ 363 阅读

相关 Flume日志收集

一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数

向右看齐/ 2022年08月27日 05:42/ 0 赞/ 287 阅读

相关大数据日志收集框架之Flume入门

Flume是Cloudrea公司开源的一款优秀的日志收集框架，主要经历了两个大的版本，分别是 Flume-OG Flume-NG OG是0.9.x的版本，依赖zoo

怼烎@/ 2022年08月20日 13:10/ 0 赞/ 261 阅读

相关 Flume日志收集

一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写

亦凉/ 2022年07月16日 09:55/ 0 赞/ 317 阅读

相关二.Spark Streaming之日志收集框架Flume实战(二)

1.需求监控一个文件实时采集新增的数据输出到控制台 2.创建配置文件在conf下创建一个名为exec-memory-logger.conf的文件,

谁借莪１个温暖的怀抱￠/ 2022年04月17日 05:12/ 0 赞/ 216 阅读

相关一. Spark Streaming之日志收集框架Flume实战(一)

1.简介 Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流数据流的简单灵活的架构。它具有可靠的可靠性机制和许多故障转移

素颜马尾好姑娘i/ 2022年04月17日 03:51/ 0 赞/ 255 阅读

相关三.Spark Streaming之Flume跨服务器收集日志(三)

一.引言需求: 将A服务器上的日志实时采集到B服务器。技术选型: exec source + memory channel + avro si

た入场券/ 2022年04月16日 01:36/ 0 赞/ 217 阅读

相关大数据日志收集框架之Flume入门

\[size=medium\] Flume是Cloudrea公司开源的一款优秀的日志收集框架，主要经历了两个大的版本，分别是 Flume-OG Flume-NG

向右看齐/ 2022年04月12日 12:41/ 0 赞/ 358 阅读

相关【学习Flume日志收集框架】

> 你晓得伐 <table> <thead> <tr> <th>单词</th> <th>含义</th> <th>拓展</th> <

╰+攻爆jí腚メ/ 2022年02月16日 10:53/ 0 赞/ 343 阅读