2.5.5 hadoop体系之离线计算-Flume日志收集系统-Flume高可用方案

曾经终败给现在 2022-12-19 04:00 122阅读 0赞

**目录**

1.角色分配

2.node01安装和配置

3.Node02 与 Node03 配置 FlumeCollection

4.顺序启动

5.Failover 测试

--------------------

# 1.角色分配 #

在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群。Flume的Agent和Collector分布如下表所示：

node01作为主节点，node02和node03作为从节点

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

图中所示，Agent1数据分别流入到Collector1和Collector2，Flume NG本身提供了Failover机制，可以 自动切换和恢复。在上图中，有3个产生日志服务器分布在不同的机房，要把所有的日志都收集到一个 集群中存储。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

下面我们开发配置Flume NG集群

# 2.node01安装和配置 #

将node03机器上面的flume安装包以及文件生产的两个目录拷贝到node01机器上面去

node03机器执行以下命令（node02和node03都已经安装好了）

cd /export/servers
    scp -r apache-flume-1.8.0-bin/ node01:$PWD
    scp -r shells/ taillogs/ node01:$PWD

**node01机器配置agent**的配置文件

cd /export/servers/apache-flume-1.8.0-bin/conf

vim agent.conf

#agent1 name
    agent1.channels = c1
    agent1.sources = r1
    agent1.sinks = k1 k2
    #
    ##set gruop
    agent1.sinkgroups = g1
    #
    agent1.sources.r1.channels = c1
    agent1.sources.r1.type = exec
    agent1.sources.r1.command = tail -F /export/servers/taillogs/access_log
    #
    ##set channel
    agent1.channels.c1.type = memory
    agent1.channels.c1.capacity = 1000
    agent1.channels.c1.transactionCapacity = 100
    #
    ## set sink1
    agent1.sinks.k1.channel = c1
    agent1.sinks.k1.type = avro
    agent1.sinks.k1.hostname = node02
    agent1.sinks.k1.port = 52020
    #
    ## set sink2
    agent1.sinks.k2.channel = c1
    agent1.sinks.k2.type = avro
    agent1.sinks.k2.hostname = node03
    agent1.sinks.k2.port = 52020
    #
    ##set sink group
    agent1.sinkgroups.g1.sinks = k1 k2
    #
    ##set failover
    agent1.sinkgroups.g1.processor.type = failover
    agent1.sinkgroups.g1.processor.priority.k1 = 10
    agent1.sinkgroups.g1.processor.priority.k2 = 1
    agent1.sinkgroups.g1.processor.maxpenalty = 10000

# 3.Node02 与 Node03 配置 FlumeCollection #

node02机器修改配置文件

cd /export/servers/apache-flume-1.8.0-bin/conf

vim collector.conf

#set Agent name
    a1.sources = r1
    a1.channels = c1
    a1.sinks = k1
    #
    ##set channel
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    #
    ## other node,nna to nns
    a1.sources.r1.type = avro
    a1.sources.r1.bind = node02
    a1.sources.r1.port = 52020
    a1.sources.r1.channels = c1
    #
    ##set sink to hdfs
    a1.sinks.k1.type=hdfs
    a1.sinks.k1.hdfs.path= hdfs://node01:8020/flume/failover/
    a1.sinks.k1.hdfs.fileType=DataStream
    a1.sinks.k1.hdfs.writeFormat=TEXT
    a1.sinks.k1.hdfs.rollInterval=10
    a1.sinks.k1.channel=c1
    a1.sinks.k1.hdfs.filePrefix=%Y-%m-%d
    #

node03机器修改配置文件

cd /export/servers/apache-flume-1.8.0-bin/conf

vim collector.conf

#set Agent name
    a1.sources = r1
    a1.channels = c1
    a1.sinks = k1
    #
    ##set channel
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    #
    ## other node,nna to nns
    a1.sources.r1.type = avro
    a1.sources.r1.bind = node03
    a1.sources.r1.port = 52020
    a1.sources.r1.channels = c1
    #
    ##set sink to hdfs
    a1.sinks.k1.type=hdfs
    a1.sinks.k1.hdfs.path= hdfs://node01:8020/flume/failover/
    a1.sinks.k1.hdfs.fileType=DataStream
    a1.sinks.k1.hdfs.writeFormat=TEXT
    a1.sinks.k1.hdfs.rollInterval=10
    a1.sinks.k1.channel=c1
    a1.sinks.k1.hdfs.filePrefix=%Y-%m-%d

# 4.顺序启动 #

需要先启动从节点，再启动主节点

node03机器上面启动flume

![20201105152850932.png][]

node02机器上面启动flume

![20201105152907822.png][]

node01机器上面启动flume

![20201105153004944.png][]

node01机器启动文件产生脚本，因为node02级别比node03高，所以会发给node02

cd /export/servers/shells

sh tail-file.sh

# 5.Failover 测试 #

下面我们来测试下Flume NG集群的高可用（故障转移）。场景如下：我们在Agent1节点上传文件，由 于我们配置Collector1的权重比Collector2大，所以 Collector1优先采集并上传到存储系统。然后我们 kill掉Collector1，此时有Collector2负责日志的采集上传工作，之后，我 们手动恢复Collector1节点的 Flume服务，再次在Agent1上次文件，发现Collector1恢复优先级别的采集工作。具体截图如下所示：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/ebfad5bd4d5e481aaf57cb4dbff0049b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: /images/20221120/f3531cde3d5945f5918fccacda19a9b4.png
[20201105152850932.png]: /images/20221120/d963f95d7bf44edeaa564b482176f996.png
[20201105152907822.png]: https://img-blog.csdnimg.cn/20201105152907822.png
[20201105153004944.png]: https://img-blog.csdnimg.cn/20201105153004944.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20201105153212466.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，122人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flume——高可用的、高可靠的、分布式日志收集系统

flume 第一章是什么介绍架构第二章安装简单案例实现(单节点实现) 设置多Agent流(集群

绝地灬酷狼/ 2023年06月13日 11:10/ 0 赞/ 25 阅读

相关 2.5.1(2) hadoop体系之离线计算-Flume日志收集系统-Flume安装及基本使用

目录 1.前置准备 2.安装Flume 一、概述二、安装 2.1 下载并解压 2.2 配置环境变量 2.3 修改配置 2.4 验证 3.基本使用 3.1

悠悠/ 2022年12月28日 11:26/ 0 赞/ 119 阅读

相关 2.5.7 hadoop体系之离线计算-Flume日志收集系统-Flume案例分析（拦截器）

目录 1.案例场景分析 2.数据流程处理分析 3.实现 3.1 采集端配置文件开发 3.2 服务端配置文件开发 3.3 采集端文件生成脚本 3.4 顺序启动服

短命女/ 2022年12月19日 06:06/ 0 赞/ 140 阅读

相关 2.5.6 hadoop体系之离线计算-Flume日志收集系统-Flume的负载均衡

目录 1.Flume的负载均衡 2.开发node01服务器的flume配置 3.开发node02服务器的flume配置 4.开发node03服务器flume配置 5.

水深无声/ 2022年12月19日 06:02/ 0 赞/ 113 阅读

相关 2.5.5 hadoop体系之离线计算-Flume日志收集系统-Flume高可用方案

目录 1.角色分配 2.node01安装和配置 3.Node02 与 Node03 配置 FlumeCollection 4.顺序启动 5.Failover 测试

曾经终败给现在/ 2022年12月19日 04:00/ 0 赞/ 123 阅读

相关 2.5.4 hadoop体系之离线计算-Flume日志收集系统-Agent级联

目录 1.需求分析 2.功能实现 2.1 Node02安装Flume 2.2 开发脚本向文件中写入数据 2.3 node03中Flume配置文件 2.4 顺序启动

清疚/ 2022年12月19日 03:58/ 0 赞/ 124 阅读

相关 2.5.3 hadoop体系之离线计算-Flume日志收集系统-Flume实战（采集目录+采集日志）

目录 1.spooldir采集目录到HDFS 1.1 思路分析 1.2 Flume 配置文件 1.3 启动Flume 1.4 上传文件到指定目录 2.exec采集文

桃扇骨/ 2022年12月19日 03:37/ 0 赞/ 158 阅读

相关 2.5.2 hadoop体系之离线计算-Flume日志收集系统-Flume实战（Telnet案例）

目录 1.案例分析 2.Flume 的安装部署 2.1. 下载解压修改配置文件 2.2 开发配置文件 2.3 启动配置文件 2.4 安装 Telnet 准备测试

约定不等于承诺〃/ 2022年12月19日 01:27/ 0 赞/ 126 阅读

相关 2.5.1 hadoop体系之离线计算-Flume日志收集系统-Flume介绍

目录 1.概述 2.运行机制 3.Flume结构图 -------------------- 1.概述 Flume是一个分布式、可靠、和高可用的海量日志采

谁借莪１个温暖的怀抱￠/ 2022年12月19日 01:24/ 0 赞/ 149 阅读

相关 flume使用之flume+hive 实现日志离线收集、分析

在如今互联网行业中，数据的收集特别是日志数据的收集已经成为了系统的标配。将用户行为日志或者线上系统生产的数据通过flume收集起来，存放到数据仓库（hive）中，然后离线通过s

朱雀/ 2021年05月12日 11:55/ 0 赞/ 679 阅读