轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.10 词频统计之自定义Reducer

朱雀 2024-03-22 19:09 27阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.10 词频统计之自定义Reducer

![在这里插入图片描述][47db8c1488c843c3bf22a7be050a7610.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.10 词频统计之自定义Reducer ######

Reducer

输出：<单词,N次>

package com.dingjiaxiong.mr.wc;
    
    import org.apache.hadoop.io.IntWritable;
    import org.apache.hadoop.io.Text;
    import org.apache.hadoop.mapreduce.Reducer;
    
    import java.io.IOException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 11:12 AM
     */
    
    /**
     * reduce 的输入就是map 的输出
     */
    public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        
    
        /**
         * Iterable<IntWritable>
         * 举个栗子
         * pk,pk,pk hello,hello world
         * <pk,1> <pk,1> <pk,1> ==> <pk, <1,1,1>>
         * <hello,1> <hello,1>  ==> <hello, <1,1>>
         * <world,1>            ==> <world,<1>>
         * 相同的key经过shuffle后, 会在同一个reduce中进行聚合
         *
         * @param word:   单词
         * @param values
         * @param context
         * @throws IOException
         * @throws InterruptedException
         */
        @Override
        protected void reduce(Text word, Iterable<IntWritable> values, Reducer<Text, IntWritable, Text, IntWritable>.Context context) throws IOException, InterruptedException {
        
            int count = 0;
    
            // 累计求和
            for (IntWritable value : values) {
        
                count += value.get();
            }
    
            // 输出
            context.write(word, new IntWritable(count));
        }
    }

![在这里插入图片描述][58aee9a595bf4278b9a55df1181193c2.png_pic_center]

[47db8c1488c843c3bf22a7be050a7610.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/bc886fff29274754a08e4cb6e4c2e9f8.png
[58aee9a595bf4278b9a55df1181193c2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/5f1dff3a5867491f85b393f0f3e9c2e3.png