Yarn的工作机制

超、凢脫俗 2023-06-21 13:22 15阅读 0赞

先来张图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70]  
**工作机制详解：**

1 MR 程序提交到客户端所在的节点。  
2 YarnRunner向RM申请一个Application  
3 RM将该应用程序的资源路径返回给YarnRunner  
4 该程序将运行所需要资源提交到HDFS上。  
5 程序资源提交完毕后，申请运行mrAppMaster  
6 RM 将用户的请求初始化一个Task  
7 其中一个NodeManager领取到Task任务  
8 该NM 创建一个Container，并产生一个MRAppmaster  
9 Container从HDFS上拷贝资源到本地  
10 MRAppmaster向RM申请运行MapTask资源  
11 RM将运行MapTask任务分配 给另外两个NM,另外两个分别领取任务并创建容器  
12 MR 向两个接受到任务的NM发送程序启动脚本。这两个NM分别启动MapTask,MapTask对数据分区排序  
13 MrAppMaster 等待所有的MapTask运行完毕后，向RM申请容器运行RedyceTask  
14ReduceTask向MapTask获取相应分区的数据  
15 程序运行完毕后，MR会向RM申请注销自己

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20191212215219350.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MzU5OTM3Nw==,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，15人围观）

还没有评论，来说两句吧...

相关阅读

相关 [hadoop] yarn工作机制详细步骤及流程图

yarn的组成架构及其各角色的作用: [https://blog.csdn.net/a755199443/article/details/101381685][https_

男娘i/ 2023年10月09日 12:32/ 0 赞/ 8 阅读

相关【Hadoop-Yarn】工作机制 & job的提交流程 & 调度器

【Hadoop-Yarn】工作机制 & job的提交流程 & 调度器 1）Yarn 基本概述 2）Yarn 基本架构 3）Yarn 工作机制，job提交

短命女/ 2023年10月05日 16:25/ 0 赞/ 28 阅读

相关 Yarn的工作机制

先来张图： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nL

超、凢脫俗/ 2023年06月21日 13:22/ 0 赞/ 16 阅读

相关 Hadoop-Yarn-工作机制、job的提交流程

Hadoop-Yarn-工作机制、job的提交流程文章目录 Hadoop-Yarn-工作机制、job的提交流程 Yarn基本概述

客官°小女子只卖身不卖艺/ 2023年03月02日 10:41/ 0 赞/ 44 阅读

相关 Yarn基础架构/工作机制/作业提交流程

一、什么是Yarn Yarn是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数

深藏阁楼爱情的钟/ 2022年11月08日 15:27/ 0 赞/ 200 阅读

相关 Hadoop之Yarn工作机制详解

Hadoop之Yarn工作机制详解 -------------------- 目录 1. Yarn概述 2. Yarn基本架构 3. Yarn工作机制 4.

末蓝、/ 2022年10月01日 09:55/ 0 赞/ 197 阅读

相关 Yarn基础结构及工作机制

1、Yarn基础结构 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG

系统管理员/ 2022年09月03日 04:17/ 0 赞/ 9 阅读

相关 YARN的工作流程

[YARN的工作流程][YARN] 运行在YARN上的应用程序主要分为两类：（1）短应用程序（2）长应用程序短应用程序是指一定时间内（可能是秒级、分钟级或小时级，

小鱼儿/ 2022年08月08日 13:46/ 0 赞/ 224 阅读

相关 Yarn在MapReduce中的工作机制

目录前言: 1、YARN概述 2、mapreduce&yarn的工作机制总结：目录前言

短命女/ 2022年05月28日 03:38/ 0 赞/ 194 阅读

相关 Hadoop Yarn工作机制

在yarn上写应用程序并不同于我们熟知的MapReduce应用程序，必须牢记yarn只是一个资源管理的框架，并不是一个计算框架，计算框架可以运行在yarn上。我们所能做的就

淡淡的烟草味﹌/ 2022年05月27日 06:17/ 0 赞/ 233 阅读