轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.53 场景题之ReduceJoin需求分析

缺乏、安全感 2024-03-17 09:15 25阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.53 场景题之ReduceJoin需求分析

![在这里插入图片描述][9b2fa0c22167485f82a560a0d41619ae.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.53 场景题之ReduceJoin需求分析 ######

如何使用MR 实现join 功能，【重点重点】

`join *****`

SQL 中的join：`select e.empno, e.ename, e.deptno, d.dname from emp e join dept d on e.deptno=d.deptno;`

> 这个功能有非常大的调优空间

比如我们有下面这样两张表：user 和 order ，用户表和订单表

两张表的数据如下所示：

![在这里插入图片描述][d20be82174f44696a8910bd108989f69.png_pic_center]

根据一个连接查询后

![在这里插入图片描述][11350b33aa084a868db17d1a5bcf88c2.png_pic_center]

得到这样的结果

这样的功能如何使用MR 进行实现？

map 阶段：

1.  要读取两份数据，分别是user 和 order
2.  加一个标志位，用于区分数据来源自哪个表(打个标签)
3.  on 的条件就是map 端输出的key

![在这里插入图片描述][36051afa1de74870b2b2ef91598fe14a.png_pic_center]

打完标签就是上面这样的。

然后把key 相同的放在一起

![在这里插入图片描述][e7a24938c5484bcfb98fd947ac2482b5.png_pic_center]

最后就可以在相同的分组结果中得到最终结果

![在这里插入图片描述][d04fb2bce0924e4da89394a141fc3e98.png_pic_center]

没问题，最终就得到了我们连接查询的答案。【面试重要】

[9b2fa0c22167485f82a560a0d41619ae.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/a0279276f1f4461a969b2051bb332965.png
[d20be82174f44696a8910bd108989f69.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/5da04ee4096a4d3d93c2c6743a8de6db.png
[11350b33aa084a868db17d1a5bcf88c2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9014e446ce074d9eb5d813afb1e1f027.png
[36051afa1de74870b2b2ef91598fe14a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/6fd54ad8f6c14389a17de7bfc6fad46b.png
[e7a24938c5484bcfb98fd947ac2482b5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f31c7c31f08049b1bf23b0b7fe1ef353.png
[d04fb2bce0924e4da89394a141fc3e98.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/28ab0678292e4ea1a09860b9b76176ee.png

轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.53 场景题之ReduceJoin需求分析

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.21 Hadoop序列化之需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.7 MapReduce编程规范

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.2 MapReduce框架的优缺点

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.57 场景题之MapJoin原理分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.56 场景题之ReduceJoin的弊端

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.55 场景题之ReduceJoin功能开发及测试

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.53 场景题之ReduceJoin需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.54 场景题之ReduceJoin自定义序列化类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.51 场景题之distinct需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.49 场景题之groupby需求分析