Hadoop之Yarn工作机制详解

末蓝、 2022-10-01 09:55 196阅读 0赞

# Hadoop之Yarn工作机制详解 #

--------------------

## 目录 ##

1.  Yarn概述
2.  Yarn基本架构
3.  Yarn工作机制
4.  作业提交全过程详解

--------------------

### 1. Yarn概述 ###

Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。

--------------------

### 2. Yarn基本架构 ###

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成，如下图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70]

--------------------

### 3. Yarn工作机制 ###

1.  Yarn运行机制，如下图所示  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 1]
2.  工作机制详解
    
    1.  Mr程序提交到客户端所在的节点。
    2.  Yarnrunner向Resourcemanager申请一个Application。
    3.  rm将该应用程序的资源路径返回给yarnrunner。
    4.  该程序将运行所需资源提交到HDFS上。
    5.  程序资源提交完毕后，申请运行mrAppMaster。
    6.  RM将用户的请求初始化成一个task。
    7.  其中一个NodeManager领取到task任务。
    8.  该NodeManager创建容器Container，并产生MRAppmaster。
    9.  Container从HDFS上拷贝资源到本地。
    10. MRAppmaster向RM 申请运行maptask资源。
    11. RM将运行maptask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
    12. MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。
    13. MrAppMaster等待所有maptask运行完毕后，向RM申请容器，运行reduce task。
    14. reduce task向maptask获取相应分区的数据。
    15. 程序运行完毕后，MR会向RM申请注销自己。

--------------------

### 4. 作业提交全过程详解 ###

作业提交全过程详解

1.  作业提交  
    第1步：client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。  
    第2步：client向RM申请一个作业id。  
    第3步：RM给client返回该job资源的提交路径和作业id。  
    第4步：client提交jar包、切片信息和配置文件到指定的资源提交路径。  
    第5步：client提交完资源后，向RM申请运行MrAppMaster。
2.  作业初始化  
    第6步：当RM收到client的请求后，将该job添加到容量调度器中。  
    第7步：某一个空闲的NM领取到该job。  
    第8步：该NM创建Container，并产生MRAppmaster。  
    第9步：下载client提交的资源到本地。
3.  任务分配  
    第10步：MrAppMaster向RM申请运行多个maptask任务资源。  
    第11步：RM将运行maptask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
4.  任务运行  
    第12步：MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动maptask，maptask对数据分区排序。  
    第13步：MrAppMaster等待所有maptask运行完毕后，向RM申请容器，运行reduce task。  
    第14步：reduce task向maptask获取相应分区的数据。  
    第15步：程序运行完毕后，MR会向RM申请注销自己。
5.  进度和状态更新  
    YARN中的任务将其进度和状态(包括counter)返回给应用管理器, 客户端每秒(通过mapreduce.client.progressmonitor.pollinterval设置)向应用管理器请求进度更新, 展示给用户。
6.  作业完成  
    除了向应用管理器请求作业进度外, 客户端每5分钟都会通过调用waitForCompletion()来检查作业是否完成。时间间隔可以通过mapreduce.client.completion.pollinterval来设置。作业完成之后, 应用管理器和container会清理工作状态。作业的信息会被作业历史服务器存储以备之后用户核查。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70]: /images/20220118/ea110825c13e47a6a544d5e93c0d004e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkxMDY5NA_size_16_color_FFFFFF_t_70 1]: /images/20220118/614d717bc5464f09b6824896cbf9edb9.png