轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.14 词频统计之Reducer源码分析

╰+攻爆jí腚メ 2024-03-22 19:10 23阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.14 词频统计之Reducer源码分析

![在这里插入图片描述][6ebdd93b719a44b4a400ed59ee8066ba.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.14 词频统计之Reducer源码分析 ######

把自定义Mapper 中的断点去掉

![在这里插入图片描述][5f03352729fe4c249e9e742833314923.png_pic_center]

给自定义Reducer 来一个断点

![在这里插入图片描述][db50c74b6c13417cb608417a33569fd0.png_pic_center]

打在这一行。

我们当前是有三个文件，看看谁先到

debug运行driver

![在这里插入图片描述][3acd6e77180845a4aac9119f9f8aca5c.png_pic_center]

可以看到，先到的是hello

![在这里插入图片描述][2d5800d894df4ae9b0705b59825807e4.png_pic_center]

值在这儿，

OK， 单步下去

![在这里插入图片描述][4695fff9458040a09883328125b60335.png_pic_center]

得到1 这个值，因为hello 有2 个，再执行下去

![在这里插入图片描述][04357a10d08841c59bd6103715d7ed67.png_pic_center]

![在这里插入图片描述][b65753ba741744468a70abae289859ca.png_pic_center]

最终hello 的count 加到2

没问题。

这里注意，我们的map 拆出来后，是下面这样的

![在这里插入图片描述][76bc0d44147b4b7984f2f94a9171e05e.png_pic_center]

我们已经拆成3 个文件了

继续下去

![在这里插入图片描述][a470a586f1a942929f6fd6c42b875a22.png_pic_center]

最后输出的意思就是 <hello , 2 > 这种意思的结果，reduce 进行`合` 的操作。

再放行

![在这里插入图片描述][7ff048e8e5d3460d877f0f62cc1314f2.png_pic_center]

就该pk 这个词了，放行

![在这里插入图片描述][11184c7f03384bb8b205929351b0193c.png_pic_center]

最后是world

而为什么是hello在最前面，这就是我们最先说到的

![在这里插入图片描述][078d28c3bf32461aaad34b42abee014d.png_pic_center]

hello 以 h 开头，接着是 pk 的p，world 的w 最后，妙啊

**默认字典序。**

OK，看到我们继承那个Reducer 的源码

![在这里插入图片描述][67c227c6af6e4372a7ca3255eb2136c5.png_pic_center]

![在这里插入图片描述][78835db5daac476f8d8136e5338ea3d2.png_pic_center]

就是把map 搞出来的<单词,1> <单词,1> … 这种 ==>> 搞成<单词,N>

然后 Reducer 也有那么几个方法

![在这里插入图片描述][a5a404b060b44810b1fdeb1be4eb2c72.png_pic_center]

其实我们通过看了map 的效果，大概可以猜到reducer 的执行顺序了

![在这里插入图片描述][35561bf93f3540bc87ced26138a64a5c.png_pic_center]

没错，还是模板方法模式。

![在这里插入图片描述][646c585a5d0347e9b2da633cd9354e78.png_pic_center]

我们重写那个reduce 方法其实和这个也是非常像的

![在这里插入图片描述][e4cd56ef4dad4e2faae7746da4554862.png_pic_center]

我意思是意思像。

[6ebdd93b719a44b4a400ed59ee8066ba.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/365a435933cd4c2a90dfc0883f74e30a.png
[5f03352729fe4c249e9e742833314923.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/11c12e98305b4231a950ebad4c69c5cf.png
[db50c74b6c13417cb608417a33569fd0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/13017d8f87bf41d8bca66a9f05681e61.png
[3acd6e77180845a4aac9119f9f8aca5c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/00a239f61e4644898dd5fa92ea3c23de.png
[2d5800d894df4ae9b0705b59825807e4.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/3300a62866b748a5bfe9a9c18d60d4e3.png
[4695fff9458040a09883328125b60335.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/214fe68e487349eb90f3f4f0ce9c0b63.png
[04357a10d08841c59bd6103715d7ed67.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/fd46311e2ef84524a2e4e2e2afaa007e.png
[b65753ba741744468a70abae289859ca.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/912f99a967774ddca5df3f09aa1dffab.png
[76bc0d44147b4b7984f2f94a9171e05e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/112fe40acb7541fd8fd1bc605f9985b4.png
[a470a586f1a942929f6fd6c42b875a22.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/4a0d8466d5444137b80dddc4c3b283c0.png
[7ff048e8e5d3460d877f0f62cc1314f2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/5ede94bb4a154ca2914620d577ebdfaf.png
[11184c7f03384bb8b205929351b0193c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/94eecc04adb94280806f47a00b9d5ecd.png
[078d28c3bf32461aaad34b42abee014d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/b465253c5c83492cb98efdb6979d64b9.png
[67c227c6af6e4372a7ca3255eb2136c5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/9e282adb4a894671b022f40cf9bb44d6.png
[78835db5daac476f8d8136e5338ea3d2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/170ae6c6e65e45af95c8af6588a2bc9f.png
[a5a404b060b44810b1fdeb1be4eb2c72.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/718a856442f24a2ea55f69551104d6ab.png
[35561bf93f3540bc87ced26138a64a5c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/5025a3a7a8bc4edca22b50b5c2d48cfe.png
[646c585a5d0347e9b2da633cd9354e78.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/2f2deae8b00c4ff7be5d6df725547a78.png
[e4cd56ef4dad4e2faae7746da4554862.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/095ab040f16d42ce9219326700495a77.png