Hadoop深入学习 Combiner

﹏ヽ暗。殇╰゛Y 2022-03-19 03:25 203阅读 0赞

在本节中，我们着重学习MapReduce编程模型中的Combiner组件。  
每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能，是MapReduce的一种优化手段之一。  
1）、Combiner最基本是实现本地key的聚合，对map输出的key排序、value进行迭代。如下所示：

引用

map:(key1,value1) ——> list(key2,value2)  
conbine:(key2,list(value2)) ——> list(key2,value2)  
reduce:(key2,list(value2)) ——> list(key3,value3)

2）、Combiner还有本地reduce功能（其本质上就是一个reduce）：

引用

map:(key1,value1) ——> list(key2,value2)  
conbine:(key2,list(value2)) ——> list(key3,value3)  
reduce:(key3,list(value3)) ——> list(key4,value4)

3）、如果不用Combiner，南无说有的结果都会在reduce端完成，效率比较低小，并且会占用很多的网络IO；使用Combiner先完成在map端的本地聚合，可以减少网络传输数据量，提高性能。  
  
但是，不要以为在写MapReduce程序时设置了Combiner就认为Combiner一定会起作用，实际情况是这样的吗？答案是否定的。hadoop文档中也有说明Combiner可能被执行也可能不被执行。那么在什么情况下不执行呢？**如果当前集群在很繁忙的情况下job就是设置了也不会执行Combiner。**  
  
另外还要注意，Combiner使用的合适的话会提高Job作业的执行数度，但是使用不合适的话，会导致输出的结果不正确。Combiner的输出是Reduce的输入，它绝不会改变最终的计算结果。  
Conbiner的适用场景比如说在汇总统计时，就可以使用Conbiner，但是在求平均数的时候就是适合适用了。  
  
最后，**我们再来看一下Combiner的执行时机**。我们之前已对map端的shuffle做过比较升入的了解，详情请看[MapTask详解][MapTask]。那么，Combiner会在map端的那个时期执行呢？实际上，Conbiner函数的执行时机可能会在map的merge操作完成之前，也可能在merge之后执行，这个**时机由配置参数min.num.spill.for.combine(该值默认为3)**，也就是说在map端产生的spill文件最少有min.num.spill.for.combine的时候，Conbiner函数会在merge操作合并最终的本机结果文件之前执行，否则在merge之后执行。通过这种方式，就可以在spill文件很多并且需要做conbine的时候，减少写入本地磁盘的数据量，同样也减少了对磁盘的读写频率，可以起到优化作业的目的。

再分享一下我老师大神的人工智能教程吧。零基础！通俗易懂！风趣幽默！还带黄段子！希望你也加入到我们人工智能的队伍中来！[https://blog.csdn.net/jiangjunshow][https_blog.csdn.net_jiangjunshow]

[MapTask]: http://flyingdutchman.iteye.com/blog/1878775
[https_blog.csdn.net_jiangjunshow]: https://blog.csdn.net/jiangjunshow/article/details/77338485