flume通过公网ip采集到hdfs上

深藏阁楼爱情的钟 2022-06-07 03:27 199阅读 0赞

**需求描述：**  
公司的服务器在不同的地市都有分布，需要把不同地方的服务器的日志文件都收集到公司的内网hadoop集群中，来进行分析，（公司的hadoop集群和其他地方的集群不在同一内网中，需要借助公网来进行传输）  
简单的模型图如下  
![这里写图片描述][SouthEast]

**失败案例：**  
直接把公网IP放在了hadoop集群的nn（namenode上面），模型如下：  
![这里写图片描述][SouthEast 1]  
然后启动flume往hdfs上面传输日志文件，发现flume端一直抛异常，说的是，不能够写入文件，然后去hadoop上看，发现只能穿上文件名，但是不能够写入文件。多次尝试都是不行的，进过一番尝试和分析，发现时应为外网传输的原因，应为公网在namenode上面，但是datanode上面并没有，当真正往hdfs上面写文件的时候，并不能写上去。错误分析图：  
![这里写图片描述][SouthEast 2]

**成功案例：**  
经过了一天的纠结终于想的出可以实现的方案了，因为上面的是应为不能和DN进行通讯造成的，所对以上方案进行改进，在公司内网服务器端再加上一个flume进行对接一下，这样就可以避免了上面案例的失败的点了，具体的模型为：  
![这里写图片描述][SouthEast 3]

附上配置文件：

#这个是不同地方的服务器上的flume的配置文件
    #从本地的文件夹中读取文件，然后发送为avro文件
    a1.sources = r1
    a1.channels = c1
    a1.sinks = k1
    
    #具体定义source
    a1.sources.r1.type = spooldir
    a1.sources.r1.spoolDir = /home/hadoop/install/flumefile
    
    #具体定义channel
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 10000
    a1.channels.c1.transactionCapacity = 100
    
    #定义sink
    
    a1.sinks.k1.type = avro
    a1.sinks.k1.channel = c1
    a1.sinks.k1.hostname = 公网ip
    a1.sinks.k1.port = 4545
    
    #组装source、channel、sink
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

#这个是内网里面的flume的配置文件
    #定义agent名， source、channel、sink的名称
    a1.sources = r1
    a1.channels = c1
    a1.sinks = k1
    #
    ##具体定义source
    a1.sources.r1.type = avro
    a1.sources.r1.bind = 0.0.0.0
    a1.sources.r1.port = 4545
    #
    #
    #
    ##具体定义channel
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 10000
    a1.channels.c1.transactionCapacity = 100
    #
    ##定义拦截器，为消息添加时间戳
    a1.sources.r1.interceptors = i1
    a1.sources.r1.interceptors.i1.type = org.apache.flume.interceptor.TimestampInterceptor$Builder
    #
    #
    #具体定义sink
    a1.sinks.k1.type = hdfs
    a1.sinks.k1.hdfs.path = hdfs://master:9000/flume/%Y%m%d
    a1.sinks.k1.hdfs.filePrefix = events-
    a1.sinks.k1.hdfs.fileType = DataStream
    #
    ##不按照条数生成文件
    a1.sinks.k1.hdfs.rollCount = 0
    ##HDFS上的文件达到128M时生成一个文件
    a1.sinks.k1.hdfs.rollSize = 10240
    ##HDFS上的文件达到60秒生成一个文件
    a1.sinks.k1.hdfs.rollInterval = 120
    #
    #
    ##组装source、channel、sink
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

注意：配置文件里面的参数是不能直接放入生产环境中去使用的，需要自己根据实际情况去修改的，这里面的参数只是为了方便测试看出来效果才这样去配置的。

[SouthEast]: /images/20220607/83edf9d37d74437ba24d9cb3532f3dd1.png
[SouthEast 1]: /images/20220607/0babb0ce7b3340db993074f197165a94.png
[SouthEast 2]: /images/20220607/33762f745faf4f77bbd1f21ce18b2145.png
[SouthEast 3]: /images/20220607/a882da383c8b40b3b29fecc28d72a3e4.png