轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.56 场景题之ReduceJoin的弊端

左手的ㄟ右手 2024-03-17 09:16 17阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.56 场景题之ReduceJoin的弊端

![在这里插入图片描述][b0639437adb54fe1ade578424f239004.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.56 场景题之ReduceJoin的弊端 ######

到这里我们已经完成了ReduceJoin 的功能实现

![在这里插入图片描述][3f97038ea94a48a0bde130c3884d07e8.png_pic_center]

回到我们的流程图

我们知道shuffle 时是可以按照key 进行hash，并将key 和 value 按照hash 值分发到不同的reduce 中去

这种join 的操作都是在reduce 端进行完成的，因为map 端仅仅是打了标记，然后将数据进行了分发而已

所以map 端的压力较小，关键是reduce 端的压力可能就比较大了(例如某个key 或 某几个key 对应的数据量非常大，相同的key 的数据都在一个reduce 中，这个reduce 可能就跑不动了) → 【数据倾斜】

![在这里插入图片描述][af40b584479845939833b26111db6862.png_pic_center]

所以这种join 的调优也是一个重点。

[b0639437adb54fe1ade578424f239004.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/f2b4e2da4e0f4fc3ab0fc2c795cc9cb5.png
[3f97038ea94a48a0bde130c3884d07e8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/e4c2cd87e5434b5fa52a179f4029a9d2.png
[af40b584479845939833b26111db6862.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/21bafb3ed2724e96bcfab673b21bd61d.png

轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.56 场景题之ReduceJoin的弊端

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.7 MapReduce编程规范

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.2 MapReduce框架的优缺点

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.1 初识MapReduce框架

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.57 场景题之MapJoin原理分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.56 场景题之ReduceJoin的弊端

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.55 场景题之ReduceJoin功能开发及测试

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.53 场景题之ReduceJoin需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.54 场景题之ReduceJoin自定义序列化类

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.51 场景题之distinct需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.49 场景题之groupby需求分析