[hadoop] yarn工作机制详细步骤及流程图

男娘i 2023-10-09 12:32 8阅读 0赞

yarn的组成架构及其各角色的作用:  
[https://blog.csdn.net/a755199443/article/details/101381685][https_blog.csdn.net_a755199443_article_details_101381685]

**详细步骤**  
（1）MR程序提交到客户端所在的节点。  
（2）YarnRunner向ResourceManager申请一个Application。  
（3）RM将该应用程序的资源路径返回给YarnRunner。  
（4）该程序将运行所需资源提交到HDFS上。  
（5）程序资源提交完毕后，申请运行mrAppMaster。  
（6）RM将用户的请求初始化成一个Task。  
（7）其中一个NodeManager领取到Task任务。  
（8）该NodeManager创建容器Container，并产生MRAppmaster。  
（9）Container从HDFS上拷贝资源到本地。  
（10）MRAppmaster向RM 申请运行MapTask资源。  
（11）RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。  
（12）MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序。  
（13）MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。  
（14）ReduceTask向MapTask获取相应分区的数据。  
（15）程序运行完毕后，MR会向RM申请注销自己。

**流程图**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]

[https_blog.csdn.net_a755199443_article_details_101381685]: https://blog.csdn.net/a755199443/article/details/101381685
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190925194234719.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM=,size_16,color_FFFFFF,t_70