大数据-Flume(三)：案例、配置文件编写【案例①：netcat--＞logger】【案例②：taildir--＞hdfs】

ゝ一纸荒年。 2023-09-25 21:15 52阅读 0赞

## 一、netcat-->logger ##

### 1、案例需求： ###

*使用**Flume**监听一个****端口****，收集该端口数据，并打印到****控制台****。*

### 2、需求分析 ###

![845711db87a14c4ab5fa03baf12a906e.png][]

### 3、实现步骤 ###

#### **3.1** **软件环境配置** ####

（1）安装netcat工具

[wyr@hadoop102 ~]$ sudo yum install -y nc

（2）判断44444端口是否被占用

[wyr@hadoop102 ~]$ sudo netstat -nlp | grep 44444

（3）在flume目录下创建job文件夹并进入job文件夹。

[wyr@hadoop102 flume]$ mkdir -p job/simpleCase
    [wyr@hadoop102 flume]$ cd job/simpleCase

#### **3.2** **编写配置文件** ####

在job/simpleCase文件夹下创建Flume Agent配置文件flume\-1-netcat-logger.conf, 添加如下内容

#Name the components on this agent
    a1.sources = r1                                      # 为a1的Source组件命名为r1，多个组件用空格间隔
    a1.sinks = k1                                        # 为a1的Sink组件命名为k1，多个组件用空格间隔
    a1.channels = c1                                    # 为a1的Channel组件命名为c1，多个组件用空格间隔
    
    # Describe/configure the source
    a1.sources.r1.type = netcat                      # 配置r1的类型
    a1.sources.r1.bind = localhost                  # 配置r1的绑定地址（注意localhost和hadoop102的区别）
    a1.sources.r1.port = 44444                       # 配置r1的监听端口
    
    # Describe the sink
    a1.sinks.k1.type = logger                        # 配置k1的类型为logger,输出到控制台
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory                    # 配置c1的类型为memory
    a1.channels.c1.capacity = 1000                 # 配置c1的容量为1000个事件
    a1.channels.c1.transactionCapacity = 100     # 配置c1的事务容量为100个事件
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1                    # 配置r1的channel属性，指定r1连接到那个channel
    a1.sinks.k1.channel = c1                        # 配置k1的channel属性，指定k1连接到那个channel

注：

*  配置文件真实使用时后面的注释、空格都要去掉，否则出错（多个组件使用空格隔开的）
 *  配置文件来源于官方手册[Flume 1.11.0 User Guide — Apache Flume][Flume 1.11.0 User Guide _ Apache Flume]

#### **3.3** **部署运行flume****监听端口** ####

第一种写法：

[wyr@hadoop102 flume]$ 
    
    bin/flume-ng agent --conf conf/ --name a1 --conf-file job/simpleCase/flume-1-netcat-logger.conf -Dflume.root.logger=INFO,console

第二种写法：

[wyr@hadoop102 flume]$ 
    
    bin/flume-ng agent -c conf/ -n a1 -f job/simpleCase/flume-1-netcat-logger.conf -Dflume.root.logger=INFO,console

[wyr@hadoop102 flume]$ bin/flume-ng agent -c conf/ -n a1 -f job/simpleCase/flume-1-netcat-logger.conf -Dflume.root.logger=INFO,console
    Info: Including Hadoop libraries found via (/opt/module/hadoop-3.1.3/bin/hadoop) for HDFS access
    Info: Including Hive libraries found via (/opt/module/hive) for Hive access
    + exec /opt/module/jdk1.8.0_212/bin/java -Xmx20m -Dflume.root.logger=INFO,console -cp '/opt/module/flume/conf:/opt/module/flume/lib/*:/opt/module/hadoop-3.1.3/etc/hadoop:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/common/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn:/opt/module/hadoop-3.1.3/share/hadoop/yarn/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/*:/opt/module/hive/lib/*' -Djava.library.path=:/opt/module/hadoop-3.1.3/lib/native org.apache.flume.node.Application -n a1 -f job/simpleCase/flume-1-netcat-logge

[845711db87a14c4ab5fa03baf12a906e.png]: https://img-blog.csdnimg.cn/845711db87a14c4ab5fa03baf12a906e.png
[Flume 1.11.0 User Guide _ Apache Flume]: http://flume.apache.org/FlumeUserGuide.html

发表评论取消回复

表情：

评论列表（有 0 条评论，52人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flume：监控端口数据官方案例

监控端口数据官方案例 1.案例需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台。 2. 需求分析： ![在这里插入图片描述][d1768e

蔚落/ 2024年03月17日 23:10/ 0 赞/ 105 阅读

相关大数据-Flume(三)：案例、配置文件编写【案例①：netcat--＞logger】【案例②：taildir--＞hdfs】

一、netcat-->logger 1、案例需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台。 2、需求分析 ![845711db87a1

ゝ一纸荒年。/ 2023年09月25日 21:15/ 0 赞/ 53 阅读

相关大数据技术之Flume(概述,安装,案例等)

第1章概述 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简

太过爱你忘了你带给我的痛/ 2023年06月18日 13:55/ 0 赞/ 30 阅读

相关 Flume-聚合案例

聚合 1）案例需求： hadoop102上的Flume-1监控文件/opt/module/group.log， hadoop103上的Flume-2监控某一个端口的数

小灰灰/ 2022年11月29日 01:00/ 0 赞/ 199 阅读

相关 Flume-监控端口数据案例，实时监控单个追加文件案例

文章目录监控端口数据官方案例实时监控单个追加文件监控端口数据官方案例 1）案例需求：使用Flume监听一个端口，收集该端口数据

深藏阁楼爱情的钟/ 2022年11月25日 13:03/ 0 赞/ 299 阅读

相关 Flume案例一：监控 netcat 端口数据案例

> 本文接上篇博客：[Flume介绍、安装、使用案例、自定义Source/Sink、监控][Flume_Source_Sink] > Flume 版本：1.9.0 1.

悠悠/ 2022年10月09日 06:23/ 0 赞/ 256 阅读

相关 Flume-聚合案例

聚合案例分析： hadoop114上的Flume1监控文件/home/bd/tmp/group4Test/log hadoop115上的Flume2监控44444端

缺乏、安全感/ 2022年10月04日 13:59/ 0 赞/ 209 阅读

相关 flume应用案例

flume应用案例 1 flume用法 flume的使用非常简单，只需书写一个配置文件，在配置文件中描述source，channel和sink的具体实现，然后运行一

电玩女神/ 2022年06月12日 08:30/ 0 赞/ 297 阅读

相关 flume采集案例

1、采集目录到HDFS 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去根据需求，首先定义以下3大要素 1. 采

短命女/ 2022年03月15日 11:04/ 0 赞/ 267 阅读

相关 Flume 案例实操 - 多数据源汇总案例

![10][] 需求分析 1. hadoop103上的flume-1监控文件`/opt/module/datas/flume_tmp.log` 2. hadoop1

分手后的思念是犯贱/ 2022年01月30日 14:41/ 0 赞/ 352 阅读