Flume source 支持的type类型

旧城等待， 2023-02-22 08:26 14阅读 0赞

Flume是一个分布式的高可用的消费组件。通过修改配置文件，可以启动不同的agent处理不同来源的数据。

agent包含source，channel，sink三个组件。今天我们学习下source的type。

***1. spooldir***

＃描述/配置Source
    a1.sources.r1.type  = spooldir
    a1.sources.r1.spoolDir=/home/park/work/apache-flume-1.6.0-bin/mydata

向指定目录中传输文件，发现flume收集到了该文件，将文件中的每一行都作为日志来处理

***2.NetCat Source***

一个NetCat Source用来监听一个指定端口，并将接收到的数据的每一行转换为一个事件。

！type–   类型名称，需要被设置为"netcat"

！bind–   指定要绑定到的ip或主机名。

！port–   指定要绑定到的端口号

max-line-length   512单行最大字节数

***3.Avro Source***

监听AVRO端口来接受来自外部AVRO客户端的事件流。利用Avro Source可以实现多级流动、扇出流、扇入流等效果。另外也可以接受通过flume提供的Avro客户端发送的日志信息。

!type  –   类型名称，"AVRO"

!bind  –   需要监听的主机名或IP

!port  –   要监听的端口

threads    –   工作线程最大线程数

selector.type

selector.\*

interceptors  –   空格分隔的拦截器列表

interceptors.\*

compression-type  none   压缩类型，可以是“none”或“default”，这个值必须和AvroSource的压缩格式匹配

sslfalse  是否启用ssl加密，如果启用还需要配置一个“keystore”和一个“keystore-password”。

keystore   –   为SSL提供的java密钥文件所在路径。

keystore-password–   为SSL提供的java密钥文件 密码。

keystore-typeJKS密钥库类型可以是“JKS”或“PKCS12”。

exclude-protocolsSSLv3  空格分隔开的列表，用来指定在SSL / TLS协议中排除。SSLv3将总是被排除除了所指定的协议。

ipFilter   false  如果需要为netty开启ip过滤，将此项设置为true

ipFilterRules–   定义netty的ip过滤设置表达式规则

＃描述/配置Source
        a1.sources.r1.type  =  avro
        a1.sources.r1.bind  =  0.0.0.0
        a1.sources.r1.port  =  44444

## ***4.HTTP Source*** ##

HTTP Source接受HTTP的GET和POST请求作为Flume的事件,其中GET方式应该只用于试验。

该Source需要提供一个可插拔的"处理器"来将请求转换为事件对象，这个处理器必须实现HTTPSourceHandler接口，该处理器接受一个 HttpServletRequest对象，并返回一个Flume Envent对象集合。

从一个HTTP请求中得到的事件将在一个事务中提交到通道中。因此允许像文件通道那样对通道提高效率。

如果处理器抛出一个异常，Source将会返回一个400的HTTP状态码。

如果通道已满，无法再将Event加入Channel，则Source返回503的HTTP状态码，表示暂时不可用。

！type    类型，必须为"HTTP"

！port–   监听的端口

bind   0.0.0.0    监听的主机名或ip

handler      org.apache.flume.source.http.JSONHandler处理器类，需要实现HTTPSourceHandler接口

handler.\*  –   处理器的配置参数

selector.type

selector.\*

interceptors  –

interceptors.\*

enableSSL  false  是否开启SSL,如果需要设置为true。注意，HTTP不支持SSLv3。

excludeProtocols  SSLv3  空格分隔的要排除的SSL/TLS协议。SSLv3总是被排除的。

keystore      密钥库文件所在位置。

keystorePassword Keystore 密钥库密码

＃描述/配置Source
        a1.sources.r1.type  = http
        a1.sources.r1.port  = 66666

发表评论取消回复

表情：

评论列表（有 0 条评论，14人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flume source 支持的type类型

Flume是一个分布式的高可用的消费组件。通过修改配置文件，可以启动不同的agent处理不同来源的数据。 agent包含source，channel，sink三个组件。今天我

旧城等待，/ 2023年02月22日 08:26/ 0 赞/ 15 阅读

相关 Flume-自定义Source

自定义Source 将通过for循环的方式在造数据，并定义两个配置项，一个是有默认值，一个没有默认值，分别的对配置项进行测试。测试时的Flume为：自定义source+l

妖狐艹你老母/ 2023年01月24日 02:09/ 0 赞/ 6 阅读

相关 Flume常用Source与Sink类型及参数

Flume常用Source与Sink类型及参数一、Source netcat tcp source【监听端口数据】常用属性: type

「爱情、让人受尽委屈。」/ 2022年12月26日 02:21/ 0 赞/ 142 阅读

相关 flume自定义source

<table style="border:1px solid silver; width:1017px; border-collapse:collapse; word-brea

野性酷女/ 2022年06月14日 01:44/ 0 赞/ 248 阅读

相关 2. Flume Source 详解

1. Avro Source属性说明 a1.sources = r1 a1.channels = c1 a1.sources.r1.type =

喜欢ヅ旅行/ 2022年06月14日 00:24/ 0 赞/ 255 阅读

相关 Flume -Taildir Source

> Taildir Source可实时监控一批文件，并记录每个文件最新消费位置，agent进程重启后不会重复消费的问题 , 使用时建议1.8版本flume(1.8b版本解决了T

﹏ヽ暗。殇╰゛Y/ 2022年03月09日 14:24/ 0 赞/ 199 阅读

相关 [Flume] 02 -flume-ng、核心概念、Source/Channel/Sink类型

Flume 1.6.0 关键词： flume-ng、核心概念、Source/Channel/Sink类型 0、Flume-og和Flume-ng分别是什么鬼？ >

水深无声/ 2022年01月27日 13:41/ 0 赞/ 381 阅读

相关【Flume】Unable to load source type: org.keedio.flume.source.SQLSource

【问题描述】今天在CDH集群中使用Flume的时候发生了如下的错误： 2020-04-10 10:42:07,281 (conf-file-poll

淡淡的烟草味﹌/ 2021年07月26日 15:04/ 0 赞/ 692 阅读

相关 flume之kafka source

对于线上业务系统来说，有的时候需要对大量的数据进行统计，如果直接将数据保存到本地文件（例如使用log4j）可能会拖慢线上系统。那么，最好的方式是将大量的数据通过j

朱雀/ 2021年05月12日 11:55/ 0 赞/ 838 阅读

相关 flume之Http Source

一、介绍 1. flume自带的Http Source可以通过Http Post接收事件。 2. 场景：对于有些应用程序环境，它可能不能部署Flume SDK及其依赖

亦凉/ 2021年05月12日 11:54/ 0 赞/ 706 阅读