轻松入门大数据第5章入门到进阶：玩转资源管理系统YARN 5.1 Hadoop之YARN 5.1.2 YARN架构核心组件

蔚落 2024-03-17 09:42 22阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第5章 入门到进阶：玩转资源管理系统YARN
         *   *  5.1 Hadoop之YARN
             *   *  5.1.2 YARN架构核心组件

![在这里插入图片描述][73939b9c7eac4963bec0aad763673941.png_pic_center]

#### 第5章 入门到进阶：玩转资源管理系统YARN ####

##### 5.1 Hadoop之YARN #####

> 1.  产生背景
> 2.  核心组件及职责
> 3.  工作原理
> 4.  环境部署
> 5.  核心命令
> 6.  调度器

###### 5.1.2 YARN架构核心组件 ######

![在这里插入图片描述][b41deda35c0243c9b5a59a1bdd5f254c.png_pic_center]

还是这张图，在Hadoop1.x 中，JobTracker 负责了所有资源的申请和作业的调度，可以见得它压力会非常大

看到现在的Hadoop 官网文档：[https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html][https_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-site_YARN.html]

![在这里插入图片描述][ccb584b7ac3e4c84a88da3805d293b34.png_pic_center]

YARN 的基本思想是将【1】资源管理和【2】作业调度/监控的功能拆分为单独的守护进程。

这个想法是拥有一个全局 **ResourceManager** ( *RM* ) 和每个应用程序 **ApplicationMaster** ( *AM* )。应用程序可以是单个作业，也可以是作业的 DAG(就是组合起来一起跑的作业)。

ResourceManager(RM ) 和 NodeManager (NM ) 构成了数据计算框架。

ResourceManager 是在系统中所有应用程序之间仲裁资源的**最终权威**【真正的老大】。

NodeManager 是每台机器的框架代理【RM 的小弟】，负责容器、监控它们的资源使用情况（cpu、内存、磁盘、网络）并将其报告给 ResourceManager/Scheduler。

这样看起来，YARN = RM + NMs 【一个RM，多个NM】

每个应用程序的 ApplicationMaster 实际上是一个特定于框架的库，其任务是从 ResourceManager 协商资源并与 NodeManager(s) 一起执行和监视任务。

![在这里插入图片描述][2439d87b03ae459b91b9cf334c0f248c.png_pic_center]

看到下面的框架图

![在这里插入图片描述][0d3d0dd922b343069e00db5e128e515a.png_pic_center]

客户端将作业命令提交到YARN 后，是先到RM ，然后每个机器上可以部一个 NM，老大RM 负责仲裁，小弟NM负责干活。

总的来说，这张图里面：

*  Client 客户端
 *  RM
 *  NM
 *  AM
 *  Container

大概就这5 个核心部分。【架构组成就是这样的】

[73939b9c7eac4963bec0aad763673941.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/49ad501c17c742bfbbb0a42fce133996.png
[b41deda35c0243c9b5a59a1bdd5f254c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/060249d8effc4114b14ac80aaa9ccfe3.png
[https_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-site_YARN.html]: https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html
[ccb584b7ac3e4c84a88da3805d293b34.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/874bae2901bd4f4c92a1ca27ef74067c.png
[2439d87b03ae459b91b9cf334c0f248c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0c6fb5e456ba424e8ffd258c671b3375.png
[0d3d0dd922b343069e00db5e128e515a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/88514112b3db467ab59f3b8423aa0e29.png