轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.51 场景题之distinct需求分析

骑猪看日落 2024-03-17 09:14 10阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.51 场景题之distinct需求分析

![在这里插入图片描述][45c6c62771844559a07f25679877d566.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.51 场景题之distinct需求分析 ######

在SQL 里面，distinct 是实现去重功能

有下面这样一份数据：

pk,pk,pk
    zhangsan,zhangsan
    lisi

![在这里插入图片描述][8bf57170658e4557b6037342bf88915d.png_pic_center]

去重就行了。

分析mapper 和 reducer

Mapper：  
读取每一行数据，按照分隔符进行拆分

MR框架按照key来进行数据的shuffle的

<Text, NullWritable>

Reducer：  
相同的key肯定在一个reduce中的【这个功能自动就完成了，我们不关心value 值就行了】

我们只关注key，根本不需要关注value

<Text, NullWritable>

[45c6c62771844559a07f25679877d566.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/821f7386e6bf43649ca42d0759b848a0.png
[8bf57170658e4557b6037342bf88915d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9ed4b3f6eb0249478eea4b52ddda6889.png

轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.51 场景题之distinct需求分析

发表评论取消回复

还没有评论，来说两句吧...

相关阅读

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.21 Hadoop序列化之需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.7 MapReduce编程规范

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.2 MapReduce框架的优缺点

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.1 初识MapReduce框架

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.57 场景题之MapJoin原理分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.56 场景题之ReduceJoin的弊端

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.53 场景题之ReduceJoin需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.51 场景题之distinct需求分析

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.52 场景题之distinct功能实现及测试

相关轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.49 场景题之groupby需求分析