Flume：监控端口数据官方案例

蔚落 2024-03-17 23:10 89阅读 0赞

### 监控端口数据官方案例 ###

#### 1.案例需求： ####

使用Flume监听一个端口，收集该端口数据，并打印到控制台。

#### 2. 需求分析： ####

![在这里插入图片描述][d1768e6737de42e6b30ba47fc7843621.png_pic_center]

#### 3. 实现步骤： ####

① 软件环境配置  
（1）安装netcat工具  
\[atguigu@hadoop102 ~\]$ sudo yum install -y nc

（2）判断44444端口是否被占用  
\[atguigu@hadoop102 ~\]$ sudo netstat -nlp | grep 44444

（3）在flume目录下创建job文件夹并进入job文件夹。  
\[atguigu@hadoop102 flume\]$ mkdir -p job/simpleCase  
\[atguigu@hadoop102 flume\]$ cd job/simpleCase

② 编写配置文件（自己手敲一遍）  
在job/simpleCase文件夹下创建Flume Agent配置文件flume-1-netcat-logger.conf, 添加如下内容  
\[atguigu@hadoop102 simpleCase\]$ vim flume-1-netcat-logger.conf

#Name the components on this agent
    a1.sources = r1                                      # 为a1的Source组件命名为r1，多个组件用空格间隔
    a1.sinks = k1                                        # 为a1的Sink组件命名为k1，多个组件用空格间隔
    a1.channels = c1                                    # 为a1的Channel组件命名为c1，多个组件用空格间隔
    
    # Describe/configure the source
    a1.sources.r1.type = netcat                      # 配置r1的类型
    a1.sources.r1.bind = localhost                  # 配置r1的绑定地址（注意localhost和hadoop102的区别）
    a1.sources.r1.port = 44444                       # 配置r1的监听端口
    
    # Describe the sink
    a1.sinks.k1.type = logger                        # 配置k1的类型为logger,输出到控制台
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory                    # 配置c1的类型为memory
    a1.channels.c1.capacity = 1000                 # 配置c1的容量为1000个事件
    a1.channels.c1.transactionCapacity = 100     # 配置c1的事务容量为100个事件
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1                    # 配置r1的channel属性，指定r1连接到那个channel
    a1.sinks.k1.channel = c1                        # 配置k1的channel属性，指定k1连接到那个channel

注：配置文件来源于官方手册http://flume.apache.org/FlumeUserGuide.html

③ 部署运行flume监听端口  
·第一种写法：  
\[atguigu@hadoop102 flume\]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file job/simpleCase/flume-1-netcat-logger.conf -Dflume.root.logger=INFO,console

·第二种写法：  
\[atguigu@hadoop102 flume\]$ bin/flume-ng agent -c conf/ -n a1 -f job/simpleCase/flume-1-netcat-logger.conf -Dflume.root.logger=INFO,console

·参数说明：  
–conf/-c：表示配置文件存储在conf/目录  
–name/-n：表示给agent起名为a1  
–conf-file/-f：指定读取的配置文件是在job/simpleCase文件夹下的flume-1-1netcat-logger.conf文件。  
\-Dflume.root.logger=INFO,console ：-D表示flume运行时动态修改flume.root.logger参数属性值，并将控制台日志打印级别设置为INFO级别。日志级别包括:log、info、warn、error。

④ 测试  
（1）使用netcat工具向本机的44444端口发送内容  
\[atguigu@hadoop102 flume\]$ nc localhost 44444  
hello  
atguigu

（2）在Flume监听页面观察接收数据情况  
……  
2018-09-07 21:17:48,494 (SinkRunner-ProllingRunner-DefaultSinkProcessor) \[INFO – org.apache.flume.sink.Sink.process(LoggerSink.java:95)\] Event:\{headers:\{\} body: 68 65 6c 6F 0D hello.\}

思考：nc hadoop102 44444，flume能否接收到？

[d1768e6737de42e6b30ba47fc7843621.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/36075e829b1c435a899382c5e76ee43e.png

发表评论取消回复

表情：

评论列表（有 0 条评论，89人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flume：监控端口数据官方案例

监控端口数据官方案例 1.案例需求：使用Flume监听一个端口，收集该端口数据，并打印到控制台。 2. 需求分析： ![在这里插入图片描述][d1768e

蔚落/ 2024年03月17日 23:10/ 0 赞/ 90 阅读

相关大数据-Flume()：运行脚本【监听端口】

第一种写法： [wyr@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 -

朱雀/ 2023年10月09日 00:30/ 0 赞/ 123 阅读

相关 Flume-监控端口数据案例实操

监控端口数据官方案例案例需求：首先,Flume 监控本机 44444 端口,然后通过 telnet 工具向本机 44444 端口发送消息,最后 Flume 将监听的数据

Bertha 。/ 2023年01月23日 11:50/ 0 赞/ 22 阅读

相关 Flume-监控端口数据案例，实时监控单个追加文件案例

文章目录监控端口数据官方案例实时监控单个追加文件监控端口数据官方案例 1）案例需求：使用Flume监听一个端口，收集该端口数据

深藏阁楼爱情的钟/ 2022年11月25日 13:03/ 0 赞/ 287 阅读

相关 Flume案例一：监控 netcat 端口数据案例

> 本文接上篇博客：[Flume介绍、安装、使用案例、自定义Source/Sink、监控][Flume_Source_Sink] > Flume 版本：1.9.0 1.

悠悠/ 2022年10月09日 06:23/ 0 赞/ 244 阅读

相关 Flume介绍、安装、使用案例、自定义Source/Sink、监控

本文目录 1.大数据领域的传输问题 2.Flume入门 2.1 Flume 基础架构 Ⅰ. Agent

电玩女神/ 2022年10月09日 03:13/ 0 赞/ 161 阅读

相关 Flume案例Ganglia监控

Flume案例和Flume监控系统的使用：安装 1. 将apache-flume-1.7.0-bin.tar.gz上传到linux的/opt/software目录

小鱼儿/ 2022年04月25日 01:48/ 0 赞/ 286 阅读

相关 Flume 案例实操 - 多数据源汇总案例

![10][] 需求分析 1. hadoop103上的flume-1监控文件`/opt/module/datas/flume_tmp.log` 2. hadoop1

分手后的思念是犯贱/ 2022年01月30日 14:41/ 0 赞/ 338 阅读

相关 Flume 案例实操 - 监控端口数据

需求分析首先，Flume监控本机44444端口，然后通过telnet工具向本机44444端口发送消息，最后Flume将监听的数据实时显示在控制台。 1. Flume

怼烎@/ 2022年01月30日 06:15/ 0 赞/ 717 阅读

相关 Flume之监控

Flume作为一个日志收集工具，在数据采集方面，展现出了非常强大的能力。它的SOURCE、SINK、CHANNEL三大组件这种模式，来完成数据的接收、缓存、发送这个过程，拥有非

小鱼儿/ 2021年05月12日 11:55/ 0 赞/ 571 阅读