轻松入门大数据第4章入门到进阶：系统玩转分布式计算框架MapReduce 4.1 Hadoop之MapReduce 4.1.1 初识MapReduce框架

清疚 2024-03-22 18:30 45阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第4章 入门到进阶：系统玩转分布式计算框架MapReduce
         *   *  4.1 Hadoop之MapReduce
             *   *  4.1.1 初识MapReduce框架

![在这里插入图片描述][c9caaae0077141d68e39223eceecbaa2.png_pic_center]

#### 第4章 入门到进阶：系统玩转分布式计算框架MapReduce ####

##### 4.1 Hadoop之MapReduce #####

> 1.  初识MapReduce
> 2.  MR优缺点
> 3.  MR核心思想
> 4.  官方词频统计案例分析
> 5.  MR编程规范
> 6.  MR数据类型
> 7.  词频统计分析详解
> 8.  模板方法设计模式
> 9.  序列化
> 10. Hadoop序列化之Writable
> 11. 自定义序列化案例实战
> 12. 初识InputFormat&InputSplit
> 13. InputSplit和Block的关系
> 14. InputFormat系列编程
> 15. Partitioner
> 16. Combiner
> 17. 排序
> 18. 初识OutputFormat
> 19. 自定义OutputFormat实战
> 20. 场景题之group by
> 21. 场景题之distinct
> 22. 场景题之join
> 23. Shuffle详解
> 24. MR核心组件总结

###### 4.1.1 初识MapReduce框架 ######

> 【注意】这个部分的编程**思想**极其重要，重要，重要。

官网文档：[https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html][https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]

![在这里插入图片描述][c73685a5c20c4966973ea7b2d07dcf3e.png_pic_center]

Hadoop MapReduce 是一种软件框架，用于轻松编写应用程序，以可靠、容错的方式在商用硬件的大型集群（数千个节点）上**并行**处理大量数据（数 TB 数据集）。

MapReduce作业通常将输入数据集拆分为独立的块，这些块由map 任务以完全并行的方式处理。该框架对映射的输出进行排序，然后输入到reduce 任务。通常，作业的输入和输出都存储在文件系统中。该框架负责调度任务、监控它们并重新执行失败的任务。

![在这里插入图片描述][f4f911cc15364a78bcd31a41a1c3dfd5.png_pic_center]

MapReduce是什么
            是一个软件框架：就是一个分布式的计算框架 Spark Hive Flink都是类似的....
                "easily" writing applications
                process vast amounts of data（T级别）
                in-parallel ： [并行]（大数据分布式框架必备）  vs 串行
                commodity hardware【廉价】
                reliable【可靠】, fault-tolerant【容错】（大数据分布式框架必备）

如果没有MR这种框架，我们自己写代码来完成？？？

【还是算了，想想就令人作呕】

MR屏蔽了很多分布式开发代码的麻烦点，很多都为我们封装好了

*  自带/默认的组件 + 我们的业务逻辑 ==> 进行分布式计算作业
 *  对于我们来说，开发分布式作业其实你是感知不到的，开发时就和写**单机程序**是一样的

总之，MR 是一个分布式计算框架，用我们的业务逻辑 + 它的组件，就可以“方便” 的实现分布式计算作业，然后提交到YARN 上运行。

[c9caaae0077141d68e39223eceecbaa2.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/646d8c6bb9db4f1a8d8f916f13a609e2.png
[https_hadoop.apache.org_docs_stable_hadoop-mapreduce-client_hadoop-mapreduce-client-core_MapReduceTutorial.html]: https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html
[c73685a5c20c4966973ea7b2d07dcf3e.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/21bd45e2748545ce8ca94bebd702ab21.png
[f4f911cc15364a78bcd31a41a1c3dfd5.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/3b98c4ef7a9c4e0ca1271a447f35480d.png