轻松入门大数据第5章入门到进阶：玩转资源管理系统YARN 5.1 Hadoop之YARN 5.1.3 【重要必掌握】YARN核心组件职责

青旅半醒 2024-03-17 09:42 13阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第5章 入门到进阶：玩转资源管理系统YARN
         *   *  5.1 Hadoop之YARN
             *   *  5.1.3 【重要必掌握】YARN核心组件职责

![在这里插入图片描述][d11033f368194d49aba4b8dc593dad94.png_pic_center]

#### 第5章 入门到进阶：玩转资源管理系统YARN ####

##### 5.1 Hadoop之YARN #####

> 1.  产生背景
> 2.  核心组件及职责
> 3.  工作原理
> 4.  环境部署
> 5.  核心命令
> 6.  调度器

###### 5.1.3 【重要必掌握】YARN核心组件职责 ######

还是官网的图，[https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html][https_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-site_YARN.html]

![在这里插入图片描述][f68ac3fc5f8e405a8c2289be3d592bcf.png_pic_center]

【Client 客户端】

*  提交作业、杀死作业
 *  使用命令就可以完成【后面我们会学到的】

【RM（ResourceManager）】

*  绝对的老大，整个集群同一个时间点只有一个active(HA 高可用)
 *  负责集群资源的统一管理和调度
 *  启动和监控AM，如果某个AM挂了，RM将在另外一个NM上启动该AM （容错性体现）
 *  监控NM，接收小弟的心跳信息，一旦某个NM挂了，标志该NM上的任务该如何处理，告诉AM【让AM 决定该如何处理】

客户端发来作业，RM 就要为这个作业找一个NM 启动一个AM。

【NM（NodeManager）】

*  NM是小弟，整个集群中有多个，负责该节点上的管理和使用
 *  周期性向RM汇报本节点上的资源使用情况，以及container的运行状态
 *  接收并处理来自于RM的关于container的启停命令
 *  处理来自AM的命令

【AM（ApplicationMaster）】

*  这是每个应用程序一个AM
 *  数据切分
 *  为应用程序向RM去申请资源(container)，分配任务
 *  与NM通信：启停container
 *  任务容错
    
    ![在这里插入图片描述][2839cde57b774111aa24794e4c5b436c.png_pic_center]
 *  处理RM发过来的命令

【Container】

*  是对任务运行环境的抽象
 *  任务运行资源：节点、内存、CPU
 *  任务启动命令
 *  所有的任务都是运行在Container中的，AM、MT、RT都是运行在container中的【后面还会学习其他框架，有更多不同的Task】

、内存、CPU

*  任务启动命令
 *  所有的任务都是运行在Container中的，AM、MT、RT都是运行在container中的【后面还会学习其他框架，有更多不同的Task】

[d11033f368194d49aba4b8dc593dad94.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/e1920f4d5b4346729a37791bc1c560cb.png
[https_hadoop.apache.org_docs_stable_hadoop-yarn_hadoop-yarn-site_YARN.html]: https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/YARN.html
[f68ac3fc5f8e405a8c2289be3d592bcf.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/33c676573ffc4887bd930e40e8b33bcc.png
[2839cde57b774111aa24794e4c5b436c.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/46b76a40090e49faa2bbbc303fa1344e.png