轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.2 MapReduce框架的优缺点

àì夳堔傛蜴生んèń 2024-03-22 18:30 62阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.2 MapReduce框架的优缺点

![在这里插入图片描述][7ba0968098a343c3977dc90a044aa47f.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.2 MapReduce框架的优缺点 ######

【MR 的优缺点】

*  优点
    
     *  编码角度：按照MR的核心组件规范，其实就是去实现MR提供的抽象类或者是接口【轻松完成分布式计算作业开发】
     *  扩展角度：计算的资源情况
        
         *  HDFS【这是存储资源】：分布式的文件存储系统，文件File 会分成Block，存储在不同的DN 上
            
            如果存储空间不够了，可以通过加机器可以很方便的达到水平扩展的能力
         *  计算资源：Core + Memory
            
            加机器也可以很方便的达到水平扩展的能力
     *  容错角度：
        
        Node挂了，MR框架【自己就】会将这个Node上的作业转移到其他节点上去运行
     *  适用场景：
        
         *  海量数据的离线计算/批计算：【工作大头】
         *  离线/批计算：我可以一天处理一次，一次性处理掉，耗费时间相对更多，但是数据相对固定
         *  实时/流计算：每xx 处理一次【MR 就不适合了】
 *  缺点
    
     *  不适合实时计算
     *  不适合迭代次数多的计算 job1 ==> job2 ==> job3 ==> job4

[7ba0968098a343c3977dc90a044aa47f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/470e3e86780744bc9b704d3fc45f6bc3.png