flume简单实例

﹏ヽ暗。殇╰゛Y 2022-02-21 03:49 291阅读 0赞

### flume简单实例 ###

*   *  配置文件
     *  运行
     *  结果

## 配置文件 ##

# 定义这个agent中各组件的名字
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # 描述和配置source组件：r1
    a1.sources.r1.type = netcat
    a1.sources.r1.bind = 192.168.56.160
    a1.sources.r1.port = 44444
    
    # 描述和配置sink组件：k1
    a1.sinks.k1.type = logger
    
    # 描述和配置channel组件，此处使用是内存缓存的方式
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    
    # 描述和配置source  channel   sink之间的连接关系
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

## 运行 ##

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1  -Dflume.root.logger=INFO,console

## 结果 ##

在另一台机器上用telnet连接

[root@zk3 zkdata]# telnet 192.168.56.160 44444
    Trying 192.168.56.160...
    telnet: connect to address 192.168.56.160: Connection refused
    [root@zk3 zkdata]# telnet 192.168.56.160 44444
    Trying 192.168.56.160...
    Connected to 192.168.56.160.
    Escape character is '^]'.
    123123
    OK
    ^]
    telnet> quit
    Connection closed

flume的日志

2019-04-10 21:16:55,429 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.sink.LoggerSink.process(LoggerSink.java:94)] Event: { headers:{} body: 31 32 33 31 32 33 0D                            123123. }

发表评论取消回复

表情：

评论列表（有 0 条评论，291人围观）

还没有评论，来说两句吧...

相关阅读

相关二、Flume 实例（一）

目录一、监控端口数据二、实时读取本地文件到 HDFS 案例三、实时读取目录文件到 HDFS 案例 -------------------- 一、监控端口数据

系统管理员/ 2023年06月01日 14:58/ 0 赞/ 12 阅读

相关 flume-ng简单介绍

![Center][] flume 官网：[http://flume.apache.org/FlumeUserGuide.html][http_flume.apache.or

灰太狼/ 2022年08月17日 14:18/ 0 赞/ 177 阅读

相关 flume-ng的简单使用

首先说下怎么安装吧，flume-ng的安装，flume-ng安装特别简单 1：首先下载安装包解压，然后进入到conf目录下，首先把flume-env.sh.templat

小鱼儿/ 2022年07月14日 01:28/ 0 赞/ 152 阅读

相关 flume串联的简单使用

agent1: exec + memory + avro agent2: avro + memory + hdfs \gent的名称为"a1"

迈不过友情╰/ 2022年06月04日 10:28/ 0 赞/ 170 阅读

相关 Flume安装及简单部署

1 Flume简介 Flume是Cloudera提供的一个高可用、高可靠、分布式的海量日志采集、聚合和传输的系统。Flume支持在日志系统中定制各类数据发送方用于收集数据

左手的ㄟ右手/ 2022年06月01日 08:15/ 0 赞/ 310 阅读

相关 flume简单介绍

一：flume 的简介与功能架构 1.1 flume 的简介： 1.1.1 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚

ゝ一纸荒年。/ 2022年05月16日 23:29/ 0 赞/ 293 阅读

相关 Flume详解与安装实例

Flume介绍 1、概述 1. Flume最早是Cloudera提供的日志收集系统，后贡献给Apache 2. Flume是一个高可用的，高可靠的、健壮性，分

以你之姓@/ 2022年02月27日 04:30/ 0 赞/ 361 阅读

相关 flume简单实例

flume简单实例配置文件运行结果配置文件定义这个agent中各组件的名字 a1.source

﹏ヽ暗。殇╰゛Y/ 2022年02月21日 03:49/ 0 赞/ 292 阅读

相关 flume简单搭建(一)

下载flume官网下载 [http://flume.apache.org/download.html][http_flume.apache.org_download.html

我会带着你远行/ 2021年09月29日 23:00/ 0 赞/ 381 阅读

相关 flume简单测试

下载地址 [http://www.apache.org/dyn/closer.lua/flume/1.9.0/apache-flume-1.9.0-bin.tar.gz][h

妖狐艹你老母/ 2021年09月29日 02:16/ 0 赞/ 433 阅读