2.5.6 hadoop体系之离线计算-Flume日志收集系统-Flume的负载均衡

水深无声 2022-12-19 06:02 113阅读 0赞

**目录**

1.Flume的负载均衡

2.开发node01服务器的flume配置

3.开发node02服务器的flume配置

4.开发node03服务器flume配置

5.准备启动flume服务

6.node01服务器运行脚本产生数据

--------------------

# 1.Flume的负载均衡 #

负载均衡是用于解决一台机器(一个进程)无法解决所有请求而产生的一种算法。Load balancing Sink Processor 能够实现 load balance 功能，如下图Agent1 是一个路由节点，负责将 Channel 暂存的 Event 均衡到对应的多个 Sink组件上，而每个 Sink 组件分别连接到一个独立的 Agent 上，示例配置， 如下所示：

![20201105153443421.png][]

在此处我们通过三台机器来进行模拟flume的负载均衡 三台机器规划如下：

*  node01：采集数据，发送到node02和node03机器上去
 *  node02：接收node01的**部分数据**
 *  node03：接收node01的**部分数据**

# 2.开发node01服务器的flume配置 #

node01服务器配置：

cd /export/servers/apache-flume-1.8.0-bin/conf

vim load\_banlancer\_client.conf

# agent name
    a1.channels = c1
    a1.sources = r1
    a1.sinks = k1 k2
    
    # set gruop
    a1.sinkgroups = g1
    
    
    # set channel
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    a1.sources.r1.channels = c1
    a1.sources.r1.type = exec
    a1.sources.r1.command = tail -F /export/servers/taillogs/access_log
    
    # set sink1
    a1.sinks.k1.channel = c1
    a1.sinks.k1.type = avro
    a1.sinks.k1.hostname = node02
    a1.sinks.k1.port = 52020
    
    # set sink2
    a1.sinks.k2.channel = c1
    a1.sinks.k2.type = avro
    a1.sinks.k2.hostname = node03
    a1.sinks.k2.port = 52020
    
    # set sink group
    a1.sinkgroups.g1.sinks = k1 k2
    
    # set failover
    a1.sinkgroups.g1.processor.type = load_balance
    a1.sinkgroups.g1.processor.backoff = true
    a1.sinkgroups.g1.processor.selector = round_robin
    a1.sinkgroups.g1.processor.selector.maxTimeOut=10000

# 3.开发node02服务器的flume配置 #

cd /export/servers/apache-flume-1.8.0-bin/conf

vim load\_banlancer\_server.conf

# Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # Describe/configure the source
    a1.sources.r1.type = avro
    a1.sources.r1.channels = c1
    a1.sources.r1.bind = node02
    a1.sources.r1.port = 52020
    
    # Describe the sink
    a1.sinks.k1.type = logger
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

# 4.开发node03服务器flume配置 #

node03服务器配置

cd /export/servers/apache-flume-1.8.0-bin/conf

vim load\_banlancer\_server.conf

# Name the components on this agent
    a1.sources = r1
    a1.sinks = k1
    a1.channels = c1
    
    # Describe/configure the source
    a1.sources.r1.type = avro
    a1.sources.r1.channels = c1
    a1.sources.r1.bind = node03
    a1.sources.r1.port = 52020
    
    # Describe the sink
    a1.sinks.k1.type = logger
    
    # Use a channel which buffers events in memory
    a1.channels.c1.type = memory
    a1.channels.c1.capacity = 1000
    a1.channels.c1.transactionCapacity = 100
    
    # Bind the source and sink to the channel
    a1.sources.r1.channels = c1
    a1.sinks.k1.channel = c1

# 5.准备启动flume服务 #

启动node03的flume服务

![20201105162218688.png][]

启动node02的flume服务

![20201105162224827.png][]

启动node01的flume服务

![20201105162232685.png][]

# 6.node01服务器运行脚本产生数据 #

cd /export/servers/shells

sh tail-file.sh

node02和node03轮询的方式受到数据

[20201105153443421.png]: /images/20221120/33653af36e1d4941abdd70a1866c35f4.png
[20201105162218688.png]: /images/20221120/d9e3fdb9529549a0a107924b1e96a83d.png
[20201105162224827.png]: /images/20221120/3dc378798aa547308db44bed05d073f4.png
[20201105162232685.png]: https://img-blog.csdnimg.cn/20201105162232685.png

发表评论取消回复

表情：

评论列表（有 0 条评论，113人围观）

还没有评论，来说两句吧...

相关阅读

相关 2.5.1(2) hadoop体系之离线计算-Flume日志收集系统-Flume安装及基本使用

目录 1.前置准备 2.安装Flume 一、概述二、安装 2.1 下载并解压 2.2 配置环境变量 2.3 修改配置 2.4 验证 3.基本使用 3.1

悠悠/ 2022年12月28日 11:26/ 0 赞/ 120 阅读

相关 2.5.7 hadoop体系之离线计算-Flume日志收集系统-Flume案例分析（拦截器）

目录 1.案例场景分析 2.数据流程处理分析 3.实现 3.1 采集端配置文件开发 3.2 服务端配置文件开发 3.3 采集端文件生成脚本 3.4 顺序启动服

短命女/ 2022年12月19日 06:06/ 0 赞/ 140 阅读

相关 2.5.6 hadoop体系之离线计算-Flume日志收集系统-Flume的负载均衡

目录 1.Flume的负载均衡 2.开发node01服务器的flume配置 3.开发node02服务器的flume配置 4.开发node03服务器flume配置 5.

水深无声/ 2022年12月19日 06:02/ 0 赞/ 114 阅读

相关 2.5.5 hadoop体系之离线计算-Flume日志收集系统-Flume高可用方案

目录 1.角色分配 2.node01安装和配置 3.Node02 与 Node03 配置 FlumeCollection 4.顺序启动 5.Failover 测试

曾经终败给现在/ 2022年12月19日 04:00/ 0 赞/ 123 阅读

相关 2.5.4 hadoop体系之离线计算-Flume日志收集系统-Agent级联

目录 1.需求分析 2.功能实现 2.1 Node02安装Flume 2.2 开发脚本向文件中写入数据 2.3 node03中Flume配置文件 2.4 顺序启动

清疚/ 2022年12月19日 03:58/ 0 赞/ 124 阅读

相关 2.5.3 hadoop体系之离线计算-Flume日志收集系统-Flume实战（采集目录+采集日志）

目录 1.spooldir采集目录到HDFS 1.1 思路分析 1.2 Flume 配置文件 1.3 启动Flume 1.4 上传文件到指定目录 2.exec采集文

桃扇骨/ 2022年12月19日 03:37/ 0 赞/ 158 阅读

相关 2.5.2 hadoop体系之离线计算-Flume日志收集系统-Flume实战（Telnet案例）

目录 1.案例分析 2.Flume 的安装部署 2.1. 下载解压修改配置文件 2.2 开发配置文件 2.3 启动配置文件 2.4 安装 Telnet 准备测试

约定不等于承诺〃/ 2022年12月19日 01:27/ 0 赞/ 126 阅读

相关 2.5.1 hadoop体系之离线计算-Flume日志收集系统-Flume介绍

目录 1.概述 2.运行机制 3.Flume结构图 -------------------- 1.概述 Flume是一个分布式、可靠、和高可用的海量日志采

谁借莪１个温暖的怀抱￠/ 2022年12月19日 01:24/ 0 赞/ 149 阅读

相关 Flume日志收集

一、Flume介绍 Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数

向右看齐/ 2022年08月27日 05:42/ 0 赞/ 288 阅读

相关 flume使用之flume+hive 实现日志离线收集、分析

在如今互联网行业中，数据的收集特别是日志数据的收集已经成为了系统的标配。将用户行为日志或者线上系统生产的数据通过flume收集起来，存放到数据仓库（hive）中，然后离线通过s

朱雀/ 2021年05月12日 11:55/ 0 赞/ 679 阅读