java hadoop（六） hadoop mapreduce 规约Combiner案例

蔚落 2022-10-05 14:54 202阅读 0赞

### **什么是规约Combiner：** ###

**每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传输量，以提高网络IO性能。**

**Combiner会在没一个maptask所在的节点运行。**

**这里我们以单词统计demo为例，加入一个Combiner，减少map->reduce的传输量。**

**编写Combiner代码：**

package mapreduce;
    
    
    import org.apache.hadoop.io.LongWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Reducer;
    
    import java.io.IOException;
    
    /**
     * 这里其实可以看出 Combiner也是Reducer的一种，只是工作的地方不一样
     */
    public class MyCombiner extends Reducer<Text, LongWritable,Text,LongWritable> {
        @Override
        protected void reduce(Text key, Iterable<LongWritable> values, Context context) throws IOException, InterruptedException {
            int count = 0;
            //遍历集合，将集合中的数字相加
            for(LongWritable value:values){
                count+=value.get();
            }
            context.write(key, new LongWritable(count));
        }
    }

**在主程序中使用Combiner:**

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3_size_16_color_FFFFFF_t_70][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNzcxNTY3_size_16_color_FFFFFF_t_70]: /images/20221005/41c83ff720da4033b9cf50e99bf26ae8.png

发表评论取消回复

表情：

评论列表（有 0 条评论，202人围观）

还没有评论，来说两句吧...

相关阅读

相关大数据-Hadoop-MapReduce(二)：MapReduce编程案例

![在这里插入图片描述][20210125191658808.png] 案例：使用MapReduce进行词频统计 1、读取本地数据，使用本地(Windows中的had

梦里梦外;/ 2023年10月05日 17:39/ 0 赞/ 22 阅读

相关 Hadoop入门（六）Mapreduce

一、Mapreduce概述 MapReduce是一个编程模型，用以进行大数据量的计算二、Hadoop MapReduce （1）MapReduce是什么

左手的ㄟ右手/ 2023年06月03日 04:53/ 0 赞/ 27 阅读

相关 Hadoop-MapReduce-Combiner合并案例实操-连载中

文章目录 Combiner合并 Combiner合并案例实操 Combiner合并 ![在这里插入图片描述][waterm

缺乏、安全感/ 2023年02月08日 15:58/ 0 赞/ 172 阅读

相关 2.2.6 hadoop体系之离线计算-mapreduce分布式计算-规约Combiner

目录 1.规约Combiner概念 2.规约Combiner图示 3.规约Combiner实现步骤 3.1 运行之前的wordcount 3.2 规约代码 3.2.

你的名字/ 2022年12月13日 04:37/ 0 赞/ 172 阅读

相关 java hadoop（六） hadoop mapreduce 规约Combiner案例

什么是规约Combiner：每一个map都可能会产生大量的本地输出，Combiner的作用就是对map端的输出先做一次合并，以减少在map和reduce节点之间的数据传

蔚落/ 2022年10月05日 14:54/ 0 赞/ 203 阅读

相关 java hadoop（五） hadoop mapreduce 排序和序列化案例

什么是序列化与反序列化：序列化（Serialization）是指把结构化对象转化为字节流。反序列化（Deserialization）是序列化的逆过程。把字节流转为结

墨蓝/ 2022年10月05日 14:46/ 0 赞/ 149 阅读

相关 java hadoop（四） hadoop mapreduce 分区案例

我们在编码步骤那章简单介绍了一下分区。其实通俗来说，分区就是根绝K的某个特征属性（可能是大小、长度以及尾号等等），将K的数据写到不同的文件里。比如我们根据ID来分区，我

水深无声/ 2022年10月05日 13:57/ 0 赞/ 218 阅读

相关 mapreduce的规约（Combiner）

听了超哥的一席课后逐渐明白了Combiner，记录一下自己的理解！（thanks 超哥）首先贴上两段代码： code1: package combine;

港控/mmm°/ 2022年08月25日 12:51/ 0 赞/ 194 阅读

相关 Hadoop初级之Hadoop(Mapreduce)

1. 一MapReduce入门 1.1 MapReduce定义 Mapreduce是一个分布式运算程序 +的编程框架，是用户开发“基于hadoop的数据

浅浅的花香味﹌/ 2021年10月19日 16:58/ 0 赞/ 467 阅读

相关 Hadoop MapReduce

一、简介一种分布式的计算方式指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享

我会带着你远行/ 2021年10月14日 16:51/ 0 赞/ 446 阅读