[hadoop] yarn的组成架构及其各角色的作用

谁践踏了优雅 2023-10-09 12:34 16阅读 0赞

yarn工作机制详细步骤及流程图:  
[https://blog.csdn.net/a755199443/article/details/101381503][https_blog.csdn.net_a755199443_article_details_101381503]

yarn是hadoop2.0后推出的资源调度框架,它由以下部分组成:

1）ResourceManager（RM）  
（1）处理客户端请求  
（2）监控NodeManager  
（3）启动或监控ApplicationMaster  
（4）资源的分配与调度

2）NodeManager（NM）  
（1）管理单个节点上的资源  
（2）处理来自ResourceManager的命令  
（3）处理来自ApplicationMaster的命令

3）ApplicationMaster（AM）  
（1）负责数据的切分  
（2）为应用程序申请资源并分配给内部的任务  
（3）任务的监控与容错

4）Container  
（1）Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]

[https_blog.csdn.net_a755199443_article_details_101381503]: https://blog.csdn.net/a755199443/article/details/101381503
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190925194703419.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM=,size_16,color_FFFFFF,t_70

发表评论取消回复

表情：

评论列表（有 0 条评论，16人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop中的YARN是什么？请解释其作用和架构。

Hadoop中的YARN是什么？请解释其作用和架构。 YARN是Hadoop的一个重要组件，它是一个资源管理器和作业调度器，用于管理和调度集群中的计算资源。YARN的主要

太过爱你忘了你带给我的痛/ 2024年03月04日 07:14/ 0 赞/ 100 阅读

相关【Hadoop-Yarn】Yarn的常用命令

【Hadoop-Yarn】Yarn的常用命令 1）查看任务列表 2）杀死任务 3）查看日志 4）根据 Application 状态过滤任务

爱被打了一巴掌/ 2023年10月09日 21:34/ 0 赞/ 61 阅读

相关 [hadoop] yarn的组成架构及其各角色的作用

yarn工作机制详细步骤及流程图: [https://blog.csdn.net/a755199443/article/details/101381503][https_b

谁践踏了优雅/ 2023年10月09日 12:34/ 0 赞/ 17 阅读

相关 [hadoop] HDFS组成架构及其作用

1)NameNode:就是Master,它是一个主管,管理者 1 管理HDFS的目录结构; 2 配置副本策略 3 管理数据块(Block)映射信息 4 处理客户

悠悠/ 2023年10月09日 12:17/ 0 赞/ 18 阅读

相关 Yarn的基本架构

先来一一张图： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9n

ゝ一世哀愁。/ 2023年06月21日 13:21/ 0 赞/ 21 阅读

相关 hadoop中的各个模块及其作用

hadoop中的各个模块及其作用 hdfs的组成 yarn的组成 Hadoop的分布式计算和分布式存储都采用了主从结构。分

秒速五厘米/ 2023年06月21日 03:53/ 0 赞/ 64 阅读

相关 hadoop yarn

The fundamental idea of YARN is to split up the functionalities of resource management

电玩女神/ 2022年07月13日 07:12/ 0 赞/ 210 阅读

相关 Hadoop YARN

基本思想教程： [https://mp.weixin.qq.com/s/JEw7qCze2vlt9ys\_Fe7cFA][https_mp.weixin.qq.co

电玩女神/ 2022年05月14日 07:21/ 0 赞/ 260 阅读

相关 Hadoop Yarn

一、Yarn架构 ![yarn-architecture][] Yarn就是将JobTracker的职责进行拆分，将资源管理和任务调度监控拆分成独立的进程：一个全局的资

爱被打了一巴掌/ 2021年10月15日 22:33/ 0 赞/ 472 阅读

相关 yarn和kafka在整个hadoop中是一个怎样的角色？

问题： 1、yarn和kafka在整个hadoop集群中是一个怎么的角色，对于整个集群来说起到一个什么作用？ 2、知道yarn是作为资源分配的它是怎么分配给hdf

╰+哭是因爲堅強的太久メ/ 2021年07月26日 18:12/ 0 赞/ 388 阅读