Hadoop-MapReduce-概述，核心思想，官方WordCount分析-连载中

╰+哭是因爲堅強的太久メ 2023-03-01 09:14 87阅读 0赞

# MapReduce概述 #

### 文章目录 ###

*  MapReduce概述
 *   *  1 MapReduce定义
     *  2 MapReduce优缺点
     *   *  2.1 优点
         *  2.2 缺点
     *  3 MapReduce核心思想
     *  4 MapReduce进程
     *  5 官方WordCount源码
     *  6 常用数据序列化类型
     *  7 MapReduce编程规范

## 1 MapReduce定义 ##

MapReduce 是一个分布式运算程序 的编程框架，是用户开发"基于Hadoop的数据分析应用"的核心框架。

MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个Hadoop集群上。

## 2 MapReduce优缺点 ##

### 2.1 优点 ###

**1）MapReduce 易于编程**

它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。

**2）良好的扩展性**

当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。

**3）高容错性**

MapReduce 设计的初衷就是使程序能够部署在廉价的PC机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。

**4）适合PB级以上海量数据的离线处理**

可以实现上千台服务器集群并发工作，提供数据处理能力。

### 2.2 缺点 ###

**1）不擅长实时计算**

MapReduce无法像MySQL一样，在毫秒或者秒级内返回结果。

**2）不擅长流式计算**

流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的，不能动态变化。这是因为MapReduce自身的设计特点决定了数据源必须是静态的。

**3）不擅长DAG（有向无环图）计算**

多个应用程序存在依赖关系，前一个应用程序的输出作为后一个的输入。在这种情况下，MapReduce并不是不能做，而是使用后，每个MapReduce作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下。

## 3 MapReduce核心思想 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]  
（1）分布式的运算程序往往需要分成至少2个阶段。

（2）第一个阶段的**MapTask并发实例**，完全并行运行，互不相干。

（3）第二个阶段的**ReduceTask并发实例**互不相干（ReduceTask跟分区数有关），但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。

（4）MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个MapReduce程序，串行运行。

总结：分析WordCount数据流走向深入理解MapReduce核心思想。

## 4 MapReduce进程 ##

一个完整的MapReduce 程序在分布式运行时有三类实例进程：

（1）**MrAppMaster**：负责整个程序的过程调度及状态协调。

（2）**MapTask**：负责Map阶段的整个数据处理流程。

（3）**ReduceTask**：负责Reduce阶段的整个数据处理流程。

## 5 官方WordCount源码 ##

采用反编译工具反编译源码，发现WordCount案例有Map类、Reduce类和驱动类。且数据的类型是Hadoop自身封装的序列化类型。

## 6 常用数据序列化类型 ##

<table> 
 <thead> 
  <tr> 
   <th><strong>Java类型</strong></th> 
   <th><strong>Hadoop Writable类型</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Boolean</td> 
   <td>BooleanWritable</td> 
  </tr> 
  <tr> 
   <td>Byte</td> 
   <td>ByteWritable</td> 
  </tr> 
  <tr> 
   <td>Int</td> 
   <td>IntWritable</td> 
  </tr> 
  <tr> 
   <td>Float</td> 
   <td>FloatWritable</td> 
  </tr> 
  <tr> 
   <td>Long</td> 
   <td>LongWritable</td> 
  </tr> 
  <tr> 
   <td>Double</td> 
   <td>DoubleWritable</td> 
  </tr> 
  <tr> 
   <td><font>String</font></td> 
   <td><font>Text</font></td> 
  </tr> 
  <tr> 
   <td>Map</td> 
   <td>MapWritable</td> 
  </tr> 
  <tr> 
   <td>Array</td> 
   <td>ArrayWritable</td> 
  </tr> 
  <tr> 
   <td>Null</td> 
   <td>NullWritable</td> 
  </tr> 
 </tbody> 
</table>

## 7 MapReduce编程规范 ##

用户编写的程序分成三个部分：Mapper、Reducer和Driver。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 2]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]: /images/20230209/b4c17699f71042ec9b430d36b5ef6ecf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 1]: /images/20230209/3bff352c493945429911e68502127f5a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200723114832426.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1,size_16,color_FFFFFF,t_70