轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.7 MapReduce编程规范

痛定思痛。 2024-03-22 19:08 63阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.7 MapReduce编程规范

![在这里插入图片描述][fb94576ab635485f90626b29d6e6e8d1.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.7 MapReduce编程规范 ######

MapReduce作业的编程规范：

> 三大部分

*  自定义的Mapper
    
     *  `extends Mapper<Object, Text, Text, IntWritable>`(MR框架为我们提供的核心组件)
        
         *  Object, Text：Mapper的输入数据KEY的类型，输入数据VALUE的类型
         *  Text, IntWritable：Mapper的输出数据KEY的类型，输出数据VALUE的类型
     *  重写public void map 方法：实现自己的业务逻辑
 *  自定义的Reducer
    
     *  `extends Reducer<Text,IntWritable,Text,IntWritable>`
        
         *  Text,IntWritable：Reducer的输入数据KEY的类型，输入数据VALUE的类型【其实就是Mapper输出的KEY和VALUE的类型】
         *  Text,IntWritable：Reducer的输出数据KEY的类型，输出数据VALUE的类型
     *  重写public void reduce方法：自己的业务逻辑
 *  自定义的Driver：是一个八股文编程，面向套路的编程
    
    通过Driver把整个MR作业串起来
    
     *  获取Job
     *  设置作业的class
     *  设置自定义的Mapper类
     *  设置自定义的Reducer类
     *  设置自定义的Mapper类输出的KEY VALUE类型
     *  设置自定义的Reducer类输出的KEY VALUE类型
     *  设置作业的输入数据目录
     *  设置作业的输出数据目录
     *  作业的提交

一毛一样的。【怪不得要写吐】

[fb94576ab635485f90626b29d6e6e8d1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/667d03dbd24a4387b3f14c08b6a43d89.png