轻松入门大数据第5章入门到进阶：玩转资源管理系统YARN 5.1 Hadoop之YARN 5.1.1 YARN产生背景

拼搏现实的明天。 2024-03-17 09:42 17阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第5章 入门到进阶：玩转资源管理系统YARN
         *   *  5.1 Hadoop之YARN
             *   *  5.1.1 YARN产生背景

![在这里插入图片描述][871ea4be12404ecba8afea77221eb8f0.png_pic_center]

#### 第5章 入门到进阶：玩转资源管理系统YARN ####

##### 5.1 Hadoop之YARN #####

> 1.  产生背景
> 2.  核心组件及职责
> 3.  工作原理
> 4.  环境部署
> 5.  核心命令
> 6.  调度器

###### 5.1.1 YARN产生背景 ######

`YARN的产生背景`

百度百科对YARN的介绍：[https://baike.baidu.com/item/yarn][https_baike.baidu.com_item_yarn]

![在这里插入图片描述][dfc05b52e8234f1fae275213994a01c8.png_pic_center]

最初Hadoop 框架中是没有YARN的

![在这里插入图片描述][20255d8c5ade44e98f0ece8e973a5e65.png_pic_center]

看到这张图，这是Hadoop 1.x 中关于作业的构成【在Hadoop1.x 中，HDFS 有NN、DN这些是一样的】

但是关于作业，主节点叫JobTracker，带着多个TaskTtracker【一带多小弟】

JobTracker：负责资源管理和作业调度

TaskTracker：

*  定期向JobTracker汇报本节点的健康状况、资源使用情况、Task的执行情况
 *  接收来自JobTracker的命令：启动、杀死

这种模式存在的问题：

*  JT是存在单点故障(\*\*\*\*\*)【整个集群就一个 JobTracker，而且还会成为瓶颈】
 *  只能跑MR作业
 *  资源利用率【每个框架一个集群】
 *  运维成本【运维小伙伴各个都要学】

所以：Hadoop 2.x推出了YARN的这么一个框架

[871ea4be12404ecba8afea77221eb8f0.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/a91e35e57fcc4aeebb977f4f086517f8.png
[https_baike.baidu.com_item_yarn]: https://baike.baidu.com/item/yarn
[dfc05b52e8234f1fae275213994a01c8.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/0ede61e2d30245d4a2944aabf0205e90.png
[20255d8c5ade44e98f0ece8e973a5e65.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/442f757982da4e36bf40b2285dfc1806.png