flume 性能优化

蔚落 2022-09-26 12:58 12阅读 0赞

如图1所示，一个flume-ng agent主要包括source，channel和sink三部分，三部分运行在[Java][] JVM中，JVM一般运行在linux'操作系统上，因此，这些因素都可能影响最终的性能。flume-ng性能优化与[架构][Link 1]设计，简单来讲，也主要包括以上部分。

![SouthEast][]

1, 主键的参数设计  
1.1 source 的配置  
有时候不需要每台主机均安装flume agent,可以和sshpass等命令结合使用,灵活收集日志.  
1.2 channel的配置  
可选的一般为memory channel和file channel,  
内存足够的话,一般建议选择时效性更好的memory channel,

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  agent.channels.memory\_chan\_1.type = memory  
2.  agent.channels.memory\_chan\_1.keep-alive = 30  
3.  agent.channels.memory\_chan\_1.transactionCapacity = 20000  
4.  agent.channels.memory\_chan\_1.byteCapacityBufferPercentage = 40  
5.    
6.  agent.channels.memory\_chan\_1.byteCapacity = 50000000  
7.  agent.channels.memory\_chan\_1.capacity = 500000

相关参数说明  
capacity: Maximum \# of events that can be in the channel  
transactionCapacity: Maximum \# of events in one txn.  
keepAlive: how long to wait to put/take an event  
 channel性能的关键是设置合理的以上三个参数  
1.3 sink的配置  
已hdfs sink为例,可以使用压缩节省空间和网络流量,但会增加cpu消耗.

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  \# Each sink's type must be defined  
2.  agent.sinks.hdfsSink\_1.type = hdfs  
3.  agent.sinks.hdfsSink\_1.channel = memory\_chan\_1  
4.  agent.sinks.hdfsSink\_1.hdfs.path = /logdata/%Y%m%d/%\{hostname\}/%\{filename\}%\{CRMLOG\}  
5.  agent.sinks.hdfsSink\_1.hdfs.filePrefix = %\{filename\}%\{CRMLOG\}  
6.  agent.sinks.hdfsSink\_1.hdfs.rollInterval = 3600  
7.  agent.sinks.hdfsSink\_1.hdfs.rollSize = 40000000  
8.  agent.sinks.hdfsSink\_1.hdfs.rollCount = 0  
9.  agent.sinks.hdfsSink\_1.hdfs.writeFormat = Writable  
10. agent.sinks.hdfsSink\_1.hdfs.fileType = CompressedStream  
11. agent.sinks.hdfsSink\_1.hdfs.batchSize = 10000  
12. agent.sinks.hdfsSink\_1.hdfs.serializer = avro\_event  
13. agent.sinks.hdfsSink\_1.hdfs.threadsPoolSize = 100  
14. agent.sinks.hdfsSink\_1.hdfs.codeC = gzip

影响sink的注意事项  
  
Batch Size:越大性能越好,但太大影响时效性.一般可选为100,1000,10000,batch size最好源数据端大小相同  
agent.sinks.flowSink-3-5.batch-size = 10000  
agent.sinks.hdfsSink\_1.hdfs.batchSize = 10000  
  
sink是单线程处理的,所有一个channel要配置多个写入sink,来提高性能  
2, JAVA内存的设计  
主要通过修改 conf/flume-env.sh文件实现  
主要设计Xmx和Xms两个参数,可以根据OS内存的大小进行合理设置,一般一个flume agent 1g左右大小即可  
\-Xms<size>        set initial Java heap size.........................  
\-Xmx<size>        set maximum Java heap size.........................  
  
3,OS的内核参数调整  
    如果单台服务器启动的flume agent过多的话,默认的内核参数设置偏小,需要调整，   调整方法基本和安装oracle数据库等类似,相关参数可以相应设置的大一点  
  系统的参数限制，设置样例为

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  cat /etc/sysctl.conf      
2.  kernel.shmall = 33554432  
3.  kernel.shmmax = 137438953472  
4.  kernel.shmmni = 4096  
5.  kernel.sem = 250 32000 100 128  
6.  fs.file-max = 6815744  
7.  fs.aio-max-nr = 1048576  
8.  net.ipv4.ip\_local\_port\_range = 9000 65500  
9.  net.core.rmem\_default = 262144  
10. net.core.rmem\_max = 4194304  
11. net.core.wmem\_default = 262144  
12.   
13. net.core.wmem\_max = 1048576

用户级别的参数设定

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.   vi /etc/security/limits.conf  
2.    
3.  \# End of file  
4.  hadoop             soft    nproc           32047  
5.  hadoop             hard    nproc           36384  
6.  hadoop             soft    nofile          31024  
7.  hadoop             hard    nofile          65536

4,网络配置  
flume日志和hadoop集群都是通过网络进行日志传送,所以网络不要成为性能瓶颈  
5,架构设计,尽可能使用分布式和高可用的架构 （重要）  
建议使用loadbalnce+failover，实现了架构的可扩展性和高可用性， 一台物理服务器上agent的数量不要超过core的数量 。

**\[plain\]**  [view plain][]   [copy][view plain]

[![在CODE上查看代码片][CODE]][CODE_CODE] [![派生到我的代码片][ico_fork.svg]][ico_fork.svg 1]

1.  agent.sinks = flowSink-3-1 flowSink-3-2 flowSink-3-3 flowSink-3-4 flowSink-3-5  
2.  agent.sinkgroups = g1    
3.  agent.sinkgroups.g1.sinks = flowSink-3-1 flowSink-3-2 flowSink-3-3 flowSink-3-4 flowSink-3-5    
4.  agent.sinkgroups.g1.processor.type = load\_balance    
5.  agent.sinkgroups.g1.processor.selector = round\_robin    
6.  agent.sinkgroups.g1.processor.backoff = true  
7.  ...  
8.  agent.sinks.flowSink-3-1.type = avro  
9.  agent.sinks.flowSink-3-1.channel = memory\_chan\_1  
10. agent.sinks.flowSink-3-1.hostname = 127.0.0.1  
11. agent.sinks.flowSink-3-1.port = 41451  
12. agent.sinks.flowSink-3-1.batch-size = 1000

一个高可用，可扩展的架构示意图如下

![SouthEast 1][]

参考文档  
Building a Data Collection System with Apache Flume  
http://flume.apache.org/FlumeUserGuide.html

[Java]: http://lib.csdn.net/base/17
[Link 1]: http://lib.csdn.net/base/16
[SouthEast]: /images/20220717/32d6baa9fd0648a6b8bfba185dd11188.png
[view plain]: http://blog.csdn.net/hijk139/article/details/22861667#
[CODE]: https://code.csdn.net/assets/CODE_ico.png
[CODE_CODE]: https://code.csdn.net/snippets/272056
[ico_fork.svg]: https://code.csdn.net/assets/ico_fork.svg
[ico_fork.svg 1]: https://code.csdn.net/snippets/272056/fork
[SouthEast 1]: /images/20220717/3109e443e51f4f7e91420835faebc1d9.png

发表评论取消回复

表情：

评论列表（有 0 条评论，12人围观）

还没有评论，来说两句吧...

相关阅读

相关 Flume 参数调节优化

1][]，参数对应作用 [https://blog.csdn.net/Suubyy/article/details/80517613][https_blog.csdn....

àì夳堔傛蜴生んèń/ 2024年04月17日 05:32/ 0 赞/ 65 阅读

相关 Flume优化

![33583f525815a5c58acec7a944625fa9.png][] Flume的自动容灾和负载均衡说明 flume的自动容灾指的是当某一个cha

野性酷女/ 2023年10月13日 15:14/ 0 赞/ 34 阅读

相关性能优化

![性能之巅-优化你的程序][-] -------------------- outline：关注&指标&度量，基础理论知识，工具&方法，最佳实践，参考资

电玩女神/ 2022年12月22日 09:13/ 0 赞/ 220 阅读

相关【前端性能优化】Webpack性能优化

目录 1. 什么是Webpack？ 2. 提高构建速度 2.1 npm install 过程中的优化

ゞ浴缸里的玫瑰/ 2022年12月04日 02:27/ 0 赞/ 500 阅读

相关前端性能优化-CSS性能优化

文章目录一、内联首屏关键CSS 二、异步加载CSS 异步加载的几种方式 1.js动态创建样式表link元素，并插入到DOM中

ゞ浴缸里的玫瑰/ 2022年11月13日 14:26/ 0 赞/ 460 阅读

相关 flume 性能优化

如图1所示，一个flume-ng agent主要包括source，channel和sink三部分，三部分运行在[Java][] JVM中，JVM一般运行在linux'操作系统上

蔚落/ 2022年09月26日 12:58/ 0 赞/ 13 阅读

相关性能优化

在系统开发中，性能优化占开发周期很大一部分比重，它在不改变原有系统功能的前提下，提高系统的执行速度，系统运行更加稳定；系统优化，要根据实际情况分析系统运行缓慢的

男娘i/ 2022年08月19日 15:18/ 0 赞/ 355 阅读

相关 Spark性能优化 Shuffle性能优化

转载 http://blog.sina.com.cn/s/blog\_9ca9623b0102w8qi.html Spark性能优化 Shuffle性能优化一：Shuff

约定不等于承诺〃/ 2022年05月24日 02:42/ 0 赞/ 500 阅读

相关性能优化

性能优化整理gupao学院的讲解性能的几个唯度 1.,看cpu, 命令vmstat, ![在这里插入图片描述][20190505154523653.png]

水深无声/ 2022年02月05日 10:05/ 0 赞/ 640 阅读

相关性能优化

DNS预解析 DNS 解析也是需要时间的，可以通过预解析的方式来预先获得域名所对应的 IP 缓存：缓存对于前端性能优化来说是个很重要的点，良好的缓存策略可以降低资源

偏执的太偏执、/ 2022年01月14日 07:43/ 0 赞/ 508 阅读