配置flume+hadoop hdfs

一时失言乱红尘 2022-03-26 12:58 238阅读 0赞

首先解压flume,然后执行授权命令:sudo chmod 777 -R flume

一.普通配置

vim conf/netcat-logger.conf

插入以下内容:

\#三个组件名称

a1.sources = r1

a1.sinks = k1

a1.channels = c1

\#类型

a1.sources.r1.type = netcat

a1.sources.r1.bind = localhost

a1.sources.r1.port = 8088

\#定义数据下沉类型

a1.sinks.k1.type = loggger

\#定义数据传输的方式

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactionCapacity = 100

\#指定数据传输的通道

a1.sources.r1.channels = c1

a1.sinks.k1.channels = c1

启动命令:

bin/flume-ng agent --conf conf --conf-file conf/netcat-logger.conf --name a1 -Dflume.root.logger-INFO.console

二. Flume + Hadoop HDFS实时采集日志

执行命令:vim tail-hdfs.conf

配置文件:

\#指定事件参数

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactioncapacity = 100

\#指定使用的通道

a1.sources.r1.channels = c1

a1.sinks.k1.channels = c1

bogon:conf legend$ vim tail-hdfs.conf

bogon:conf legend$ vim tail-hdfs.conf

\#文件滚动的大小限制

a1.sinks.k1.hdfs.rollsize = 20

\#指定多少个事件滚动一次

a1.sinks.k1.hdfs.rollcount = 5

\#缓存多少内存写入一个事件

a1.sinks.k1.hdfs.batchSize = 1

\#根据本地的时间

a1.sinks.k1.hdfs.useLocalTimeStamp = true

\#生成文件的类型指定

a1.sinks.k1.hdfs.fileType = DataStream

\#指定事件参数

a1.channels.c1.type = memory

a1.channels.c1.capacity = 1000

a1.channels.c1.transactioncapacity = 100

\#指定使用的通道

a1.sources.r1.channels = c1

a1.sinks.k1.channels = c1

执行启动命令:

bin/flume-ng agent -c conf -f conf/tail-hdfs.conf -n a1

发表评论取消回复

表情：

评论列表（有 0 条评论，238人围观）

还没有评论，来说两句吧...

相关阅读

相关 HUE配置HDFS

core-site.xml cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop vim core-s

约定不等于承诺〃/ 2023年10月03日 14:55/ 0 赞/ 15 阅读

相关 HDFS用户的simple认证配置

目录配置authorization开启权限认证配置允许操作的用户 -------------------- HDFS有两种认证方式，simple方式较简单，只认证用

Dear 丶/ 2022年10月22日 14:52/ 0 赞/ 488 阅读

相关配置HDFS HttpFS和WebHDFS

HDFS支持两种RESTful接口：WebHDFS和HttpFS。 WebHDFS默认端口号为50070，HttpFS默认端口号为14000。默认启动WebHDFS而

落日映苍穹つ/ 2022年09月12日 08:58/ 0 赞/ 260 阅读

相关 HDFS配置Kerberos认证

HDFS配置Kerberos认证 2014.11.04 本文主要记录 CDH [Hadoop][] 集群上配置 HDFS 集成 Kerberos 的过程，包括 K

悠悠/ 2022年08月22日 11:23/ 0 赞/ 628 阅读

相关 Hadoop Hdfs 配置（一）

环境: Jdk1.6 Hadoop-2.20.1 Fuse-2.8.1 ----------------

﹏ヽ暗。殇╰゛Y/ 2022年08月13日 11:56/ 0 赞/ 195 阅读

相关 Solr之SolrCloud配置HDFS

参考文章：http://blog.csdn.net/john\_hongming/article/details/40781977 官方文档：https://cwiki.ap

忘是亡心i/ 2022年08月02日 00:16/ 0 赞/ 182 阅读

相关 HDFS HA介绍及配置理解

1、HDFS HA介绍相比于Hadoop1.0，Hadoop 2.0中的HDFS增加了两个重大特性，HA和Federaion。HA即为High Availability

- 日理万妓/ 2022年06月02日 09:05/ 0 赞/ 307 阅读

相关 Flume中的HDFS Sink配置

Flume中的HDFS Sink配置参数说明 type：hdfs path：hdfs的路径，需要包含文件系统标识，比如：hdfs://namenode/flume

左手的ㄟ右手/ 2022年06月01日 08:52/ 0 赞/ 285 阅读

相关配置flume+hadoop hdfs

首先解压flume,然后执行授权命令:sudo chmod 777 -R flume 一.普通配置 vim conf/netcat-logger.conf 插入以

一时失言乱红尘/ 2022年03月26日 12:58/ 0 赞/ 239 阅读

相关 HDFS NameNode DataNode 多目录配置

现在目录结构 ![format_png][] NameNode NameNode 的本地目录可以配置成多个，且每个目录存放内容相同，增加了可靠性。配置 hdf

浅浅的花香味﹌/ 2022年02月24日 06:57/ 0 赞/ 243 阅读