flume集成hdfs(hdfs开启kerberos认证)

浅浅的花香味﹌ 2024-04-20 09:33 86阅读 0赞

）当 sink 到 hdfs 时：

) 需修改 flume-env.sh 配置，增添 hdfs 依赖库：

FLUME\_CLASSPATH="/root/TDH-Client/hadoop/hadoop/\*:/root/TDHClient/hadoop/hadoop-hdfs/\*:/root/TDH-Client/hadoop/hadoop/lib/\*"

实例：

a1.sources=r1

a1.sinks=k2

a1.channels=c2

a1.sources.r1.type=avro

a1.sources.r1.channels=c1 c2

a1.sources.r1.bind=172.20.237.105

a1.sources.r1.port=8888

\#r1的数据通过c2发送给k2输出到HDFS中存储

a1.sinks.k2.channel = c2

a1.sinks.k2.type=hdfs

a1.sinks.k2.hdfs.kerberosKeytab=/etc/hdfs1/conf/hdfs.keytab

a1.sinks.k2.hdfs.kerberosPrincipal=hdfs/gz237-105@TDH

\#存储到hdfs上的位置

a1.sinks.k2.hdfs.path=hdfs://nameservice1/yang/flume/portal/broswerinfo/%Y%m%d

a1.sinks.k2.hdfs.filePrefix=log-%Y-%m-%d

a1.sinks.k2.hdfs.useLocalTimeStamp = true

a1.sinks.k2.hdfs.writeFormat = text

a1.sinks.k2.hdfs.fileType=DataStream

a1.sinks.k2.hdfs.inUseSuffix=.log

\#a1.sinks.k2.hdfs.rollInterval = 0

a1.sinks.k2.hdfs.rollInterval = 60

a1.sinks.k2.hdfs.rollSize = 10240

a1.sinks.k2.hdfs.rollCount = 100

\#a1.sinks.k2.hdfs.rollCount = 0

a1.sinks.k2.hdfs.idleTimeout=60

a1.channels.c2.type=memory

a1.channels.c2.capacity=100000

a1.channels.c2.transactionCapacity=10000

发表评论取消回复

表情：

评论列表（有 0 条评论，86人围观）

还没有评论，来说两句吧...

相关阅读

相关 flume集成hdfs(hdfs开启kerberos认证)

当 sink 到 hdfs 时： ) 需修改 flume-env.sh 配置，增添 hdfs 依赖库：　　FLUME\_CLASSPATH="/root/TDH-C...

浅浅的花香味﹌/ 2024年04月20日 09:33/ 0 赞/ 87 阅读

相关 Kerberos (六) --------- Hive Kerberos 认证使用说明

目录一、beeline 客户端二、DataGrip 客户端 1. 新建 Driver 2. 新建连接 ------------

比眉伴天荒/ 2024年04月01日 13:42/ 0 赞/ 109 阅读

相关 Kerberos认证-相关

刷新票据 kinit -kt /run/cloudera-scm-agent/process/445-hdfs-DATANODE/hdfs.keytab hdfs

古城微笑少年丶/ 2023年10月16日 15:22/ 0 赞/ 15 阅读

相关 kerberos认证过程

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2R1Z3V4

末蓝、/ 2023年08月17日 17:05/ 0 赞/ 159 阅读

相关 kerberos认证原理

前几天在给人解释Windows是如何通过Kerberos进行Authentication的时候，讲了半天也别把那位老兄讲明白，还差点把自己给绕进去。后来想想原因有以下两点：对于

谁践踏了优雅/ 2023年02月21日 04:55/ 0 赞/ 71 阅读

相关安全认证--Kerberos

功介绍： Kerberos这一名词来源于希腊神话“三个头的狗——地狱之门守护者”，后来沿用作为安全认证的概念，使用Kerberos的系统在设计上采用“客户端/服务器”结构

傷城~/ 2023年01月17日 08:45/ 0 赞/ 196 阅读

相关 ambari开启kerberos

网上一些跟[Ambari启用Kerberos][Ambari_Kerberos]，看似很简单，但实际按照这个配置，遇到的问题连解决方案都不好找。启用了kerberos，想要也没

亦凉/ 2023年01月10日 05:21/ 0 赞/ 209 阅读

相关 Zookeeper 开启kerberos配置

一. 前言这两天需要搞一个开启kerberos的zookeeper环境用于测试. 顺手记录一下. 二. 安装步骤 2.1 前置环境准备 > JDK : j

川长思鸟来/ 2022年08月30日 05:16/ 0 赞/ 576 阅读

相关 HDFS配置Kerberos认证

HDFS配置Kerberos认证 2014.11.04 本文主要记录 CDH [Hadoop][] 集群上配置 HDFS 集成 Kerberos 的过程，包括 K

悠悠/ 2022年08月22日 11:23/ 0 赞/ 628 阅读

相关 Mark : Kerberos 认证

转： [https://www.cnblogs.com/wukenaihe/p/3732141.html][https_www.cnblogs.com_wukenaihe_p

系统管理员/ 2022年02月20日 14:09/ 0 赞/ 377 阅读