mapreduce图示原理深入详解，几张图搞定

浅浅的花香味﹌ 2022-06-05 01:30 192阅读 0赞

**1. MAPREDUCE原理篇**

*Mapreduce* *是一个分布式运算程序的* ***编程框架*** *，* *是用户开发“基于* *hadoop* *的数据分析应用”的核心框架；*

***Mapreduce*** ***核心功能*** ***是*** **将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个** **hadoop** **集群上；**

**1.1** **为什么要** **MAPREDUCE**

（ 1 ）海量数据在单机上处理因为硬件资源限制，无法胜任

（ 2 ）而一旦将单机版程序扩展到集群来分布式运行，将极大增加程序的复杂度和开发难度

（ 3 ）引入 mapreduce 框架后，开发人员可以将绝大部分工作集中在业务逻辑的开发上，而将分布式计算中的复杂性交由框架来处理

*设想一个海量数据场景下的* *wordcount* *需求：*

<table style="table-layout:fixed; border-collapse:collapse; border-width:1px; border-color:rgb(1,1,1); width:589px">    
 <tbody> 
  <tr> 
   <td align="left" style="border:1px solid rgb(1,1,1)"> 
    <div> 
     <span style="font-size:10pt; font-family:宋体">单机版：内存受限，磁盘受限，运算能力受限</span> 
    </div> 
    <div style="min-height:13pt"> 
     <span style="min-height:13pt; font-size:10pt; font-family:宋体">分布式：</span> 
    </div> 
    <ol style="margin-top:0mm; margin-bottom:0mm; margin-left:0mm; padding-left:0pt"> 
     <li style="margin-left:15pt; margin-right:0pt; text-indent:0pt; font-size:10pt"><span style="font-size:10pt; font-family:����">文件分布式存储（</span><span style="font-size:10pt; font-family:Calibri">HDFS</span><span style="font-size:10pt; font-family:宋体">）</span></li> 
     <li style="margin-left:15pt; margin-right:0pt; text-indent:0pt; font-size:10pt"><span style="font-size:10pt; font-family:����">运算逻辑需要至少分成</span><span style="font-size:10pt; font-family:Calibri">2</span><span style="font-size:10pt; font-family:宋体">个阶段（一个阶段独立并发，一个阶段汇聚）</span></li> 
     <li style="margin-left:15pt; margin-right:0pt; text-indent:0pt; font-size:10pt"><span style="font-size:10pt; font-family:����">运算程序如何分发</span></li> 
     <li style="margin-left:15pt; margin-right:0pt; text-indent:0pt; font-size:10pt"><span style="font-size:10pt; font-family:����">程序如何分配运算任务（切片）</span></li> 
     <li style="margin-left:15pt; margin-right:0pt; text-indent:0pt; font-size:10pt"><span style="font-size:10pt; font-family:����">两阶段的程序如何启动？如何协调？</span></li> 
     <li style="margin-left:15pt; margin-right:0pt; text-indent:0pt; font-size:10pt"><span style="font-size:10pt; font-family:����">整个程序运行过程中的监控？容错？重试？</span></li> 
    </ol> </td> 
  </tr> 
 </tbody> 
</table>

可见在程序由单机版扩成分布式时，会引入大量的复杂工作。为了提高开发效率，可以将分布式程序中的公共功能封装成框架，让开发人员可以将精力集中于业务逻辑。

而 mapreduce 就是这样一个分布式程序的通用框架，其应对以上问题的整体结构如下：

<table style="table-layout:fixed; border-collapse:collapse; border-width:1px; border-color:rgb(1,1,1); width:569px">    
 <tbody> 
  <tr> 
   <td align="left" style="border:1px solid rgb(1,1,1)"> 
    <ol style="margin-top:0mm; margin-bottom:0mm; margin-left:0mm; padding-left:0pt"> 
     <li style="margin-left:15pt; margin-right:0pt; text-indent:0pt; font-size:10pt"><span style="font-size:10pt; font-family:Calibri">MRAppMaster(mapreduce application master)</span></li> 
     <li style="margin-left:15pt; margin-right:0pt; text-indent:0pt; font-size:10pt"><span style="font-size:10pt; font-family:Calibri">MapTask</span></li> 
     <li style="margin-left:15pt; margin-right:0pt; text-indent:0pt; font-size:10pt"><span style="font-size:10pt; font-family:Calibri">ReduceTask</span></li> 
    </ol> </td> 
  </tr> 
 </tbody> 
</table>

**1.2MapReduce的框架思想**  ![Image 1][]（ **图片看不清可以下载到本地查看）**

![Center][]

**1.2 MAPREDUCE** **框架结构及核心运行机制**

**1.2.1** **结构**

**一个完整的** **mapreduce** **程序在分布式运行时有三类实例进程：**

**1** **、** **MRAppMaster** **：负责整个程序的过程调度及状态协调**

**2** **、** **mapTask** **：负责** **map** **阶段的整个数据处理流程**

**3** **、** **ReduceTask** **：负责** **reduce** **阶段的整个数据处理流程**

**1.2.2 MR** **程序运行流程**

**1.2.2.1** **流程示意图（图片看不清可以下载到本地查看）**

**![Center 1][]**

![Image 1][]

**1.2.2.2** **流程解析**

1.  一个mr程序启动的时候，最先启动的是MRAppMaster，MRAppMaster启动后根据本次job的描述信息，计算出需要的maptask实例数量，然后向集群申请机器启动相应数量的maptask进程

1.  **maptask****进程启动之后，根据给定的数据切片范围进行数据处理，主体流程为：**
    
    1.  **利用客户指定的****inputformat****来获取****RecordReader****读取数据，形成输入****KV****对**
    2.  **将输入****KV****对传递给客户定义的****map()****方法，做逻辑运算，并将****map()****方法输出的****KV****对收集到缓存**
    3.  **将缓存中的****KV****对按照****K****分区排序后不断溢写到磁盘文件**
2.  MRAppMaster监控到所有maptask进程任务完成之后，会根据客户指定的参数启动相应数量的reducetask进程，并告知reducetask进程要处理的数据范围（数据分区）
3.  Reducetask进程启动之后，根据MRAppMaster告知的待处理数据所在位置，从若干台maptask运行所在机器上获取到若干个maptask输出结果文件，并在本地进行重新归并排序，然后按照相同key的KV为一个组，调用客户定义的reduce()方法进行逻辑运算，并收集运算输出的结果KV，然后调用客户指定的outputformat将结果数据输出到外部存储

**3.MR核心数据处理全过程（包括shuffle）（图片看不清可以下载到本地查看）** ![Center 2][]

![Center 3][]

![Center 4][]

1)mapreduce 中， map 阶段处理的数据如何传递给 reduce 阶段，是 mapreduce 框架中最关键的一个流程，这个流程就叫 shuffle ；

2 ） shuffle: 洗牌、发牌（ 核心机制：数据分区、排序、缓存 ）；

3 ）具体来说： 就是将 maptask 输出的处理结果数据，分发给 reducetask ，并在分发的过程中，对数据按 key 进行了分区和排序（默认也会分区，排序）。

上面的流程是整个 mapreduce 最全工作流程， 具体 shuffle 过程详解，如下：

**1** **）** **maptask** **收集我们的** **map()** **方法输出的** **kv** **对，放到内存缓冲区中**

**2** **）从内存缓冲区不断溢出本地磁盘文件（非HDFS,因为是中间结果没必要），可能会溢出多个文件**

**3** **）多个溢出文件会被合并成大的溢出文件**

**4** **）在溢出过程中，及合并的过程中，都要调用** **partitoner** **进行分组和针对** **key** **进行排序**

**5** **）** **reducetask** **根据自己的分区号，去各个** **maptask** **机器上取相应的结果分区数据**

**6** **）** **reducetask** **会取到同一个分区的来自不同** **maptask** **的结果文件，** **reducetask** **会将这些文件再进行合并（归并排序）**

**7** **）合并成大文件后，** **shuffle** **的过程也就结束了，后面进入** **reducetask** **的逻辑运算过程（** **从文件中取出一个一个的键值对** **group** **，调用用户自定义的** **reduce()** **方法）**

3 ）注意

1.Shuffle 中的缓冲区大小会影响到 mapreduce 程序的执行效率，原则上说，缓冲区越大，磁盘 io 的次数越少，执行速度就越快。

缓冲区的大小可以通过参数调整，参数： io.sort.mb  默认 100M

2.**map任务将输出的结果时写到本地磁盘，并不是HDFS系统，**因为map输出的是中间结果，等reduce处理完以后，会从本地磁盘删除，所以没有必要上传到hdfs上，还会形成复本。这也是MapReduce比Spark慢的原因之一，因为Spark是将中间结果缓存到内存里，再次使用的时候直接加载，比mapreduce还有从本地磁盘读取快了太多。

3.如果运行map任务的节点在将map输出的结果传送给reduce之前就失败了,那么Hadoop将在另一个节点上重新运行这个map任务以再次构建新的map中间结果。MapReduce框架好就好在程序员不用担心系统失效的问题，因为框架可以检测到失败的任务，并重新在正常的机器上启动执行，这个主要是由MRappmaster进行监控的任务情况。如果失败让yarn进行调度分配新的container.

[Image 1]: 
[Center]: /images/20220605/6d4def362d9e4dc29ec9ada6f8fc4197.png
[Center 1]: /images/20220605/509edc21bf8945bb8a391e8875c085b6.png
[Center 2]: /images/20220605/936987591ec64c129ea4c2de061b25c0.png
[Center 3]: /images/20220605/8d4b07b76a834f1d8b9593a7ead4caee.png
[Center 4]: /images/20220605/40ae43752d644447b77c8b94a22805d4.png