[hadoop] hadoop之yarm资源调度

Love The Way You Lie 2021-12-04 05:25 316阅读 0赞

### YARN ###

YARN(Yet Another Resource Negotiator)是Hadoop2.0集群中负责资源管理和调度以及监控运行在它上面的各种应用，是hadoop2.0中的核心，它类似于一个分布式操作系统，通过它的api编写的应用可以跑在它上面，支持临时和常驻的应用，集群的资源可以得到最大限度的共享。资源是指CPU，内存，硬盘，带宽等可以量化的东西。

## YARN 概述  ##

YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操 作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序

YARN 是 Hadoop2.x 版本中的一个新特性。它的出现其实是为了解决第一代 MapReduce 编程 框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Hadoop2.X 版本中重新设计的这个 YARN 集群，具有更好的扩展性，可用性，可靠性，向后兼容性，以 及能支持除 MapReduce 以外的更多分布式计算程序

1、YARN 并不清楚用户提交的程序的运行机制

2、YARN 只提供运算资源的调度（用户程序向 YARN 申请资源，YARN 就负责分配资源）

3、YARN 中的主管角色叫 ResourceManager

4、YARN 中具体提供运算资源的角色叫 NodeManager

5、这样一来，YARN 其实就与运行的用户程序完全解耦，就意味着 YARN 上可以运行各种类 型的分布式运算程序（MapReduce 只是其中的一种），比如 MapReduce、Storm 程序，Spark 程序，Tez ……

6、所以，Spark、Storm 等运算框架都可以整合在 YARN 上运行，只要他们各自的框架中有 符合 YARN 规范的资源请求机制即可

7、yarn 就成为一个通用的资源调度平台，从此，企业中以前存在的各种运算集群都可以整 合在一个物理集群上，提高资源利用率，方便数据共享

# Hadoop1.0和2.0架构对比 #

![aHR0cHM6Ly9pbWcyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNDE1OTAyLzIwMTgwOS80MTU5MDItMjAxODA5MjQxNzQ2NTA0NDctMTIxODgzNjg5MS5wbmc][]

*  1.0的绝对核心是mapreduce，只能跑mapreduce的任务；2.0的绝对核心是YARN，除了可以跑mapreduce，还可以跑其它各种各样的任务，每个应用向YARN申请资源
 *  1.0的JobTracker和NameNode是单点，一旦挂掉，整个集群会瘫痪；2.0核心组件不再是单点，基于ZooKeeper实现了HA（RM Hadoop2.4版本及后才支持）
 *  2.0没有了JobTracker和TaskTracker，增加了ResourceManager，NodeManager，Application Master，Container
 *  2.0资源使用效率更高，资源使用更加弹性灵活
 *  2.0把资源管理以及调度和任务管理以及调度拆开，使得组件功能变得更简单，程序更加稳定健壮，1.0时都由JobTracker负责
 *  2.0比1.0架构更加复杂了
 *  YARN的出现解决了1.0时代设计的缺陷，让Hadoop集群功能越来越完善，让Hadoop集群越来越稳定

# YARN架构设计 #

![aHR0cHM6Ly9pbWcyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNDE1OTAyLzIwMTgwOS80MTU5MDItMjAxODA5MjQxNzQ3MzE2ODAtNzk4NDQwNTguZ2lm][]

YARN 作业执行流程：

1、用户向 YARN 中提交应用程序，其中包括 MRAppMaster 程序，启动 MRAppMaster 的命令， 用户程序等。

2、ResourceManager 为该程序分配第一个 Container，并与对应的 NodeManager 通讯，要求 它在这个 Container 中启动应用程序 MRAppMaster。

3、MRAppMaster 首先向 ResourceManager 注册，这样用户可以直接通过 ResourceManager 查看应用程序的运行状态，然后将为各个任务申请资源，并监控它的运行状态，直到运行结束，重复 4 到 7 的步骤。

4、MRAppMaster 采用轮询的方式通过 RPC 协议向 ResourceManager 申请和领取资源。

5、一旦 MRAppMaster 申请到资源后，便与对应的 NodeManager 通讯，要求它启动任务。

6、NodeManager 为任务设置好运行环境（包括环境变量、JAR 包、二进制程序等）后，将 任务启动命令写到一个脚本中，并通过运行该脚本启动任务。

7、各个任务通过某个 RPC 协议向 MRAppMaster 汇报自己的状态和进度，以让 MRAppMaster 随时掌握各个任务的运行状态，从而可以在任务败的时候重新启动任务。

8、应用程序运行完成后，MRAppMaster 向 ResourceManager 注销并关闭自己。

![aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIyODgxOC8yMDE4MDMvMTIyODgxOC0yMDE4MDMyNDE1NTc1NDA5Ny0xNzc5Mzg2NjU3LnBuZw][]

# RM实现HA #

![aHR0cHM6Ly9pbWcyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNDE1OTAyLzIwMTgwOS80MTU5MDItMjAxODA5MjQxNzQ4MDY3OTktMjgzNjM5MDkwLnBuZw][]  
(图片来源：hadoop官方文档)

*  大于等于2.4版本才支持HA
 *  RM有2种状态，提供服务的处于Active状态，备份的是Standby状态
 *  通过ZooKeeper协调，实现故障转移
 *  RM有内置ZKFC，只需开启配置，不需要单独启动额外的监控进程
 *  RM状态信息存储方式：  
    1 ZooKeeper  
    2 HDFS  
    3 本地文件系统，故障转移需要考虑信息如何同步，人工实现故障转移

# 调度策略 #

*  FIFO Scheduler（先进先出）  
    先来的先执行，如果有任务执行时间长，占用资源多，后面的任务只能等待，即使是执行快，占用资源少的应用，也必须等待那个耗时耗资源的任务执行完
 *  Capacity Scheduler（预先分配资源模式）  
    N个任务队列，每个队列分配一定资源，每个队列资源互不共享，每个队列只有有权限的人或者组织才能使用。  
    如果某些任务队列没有任务，会造成资源的浪费。相比FIFO模式，任务执行时间会变的更长，因为耗时耗资源的应用可用
 *  资源更少了。
 *  Fair Scheduler（公平调度模式）  
    先来的任务先执行，当有新的任务到来时，虽然上一个任务没有执行完，上一个任务释放的Container优先分配给这个新任务，当新任务执行完成时，释放的资源再给上一个任务使用。  
    这样就能达到即不影响耗时的任务又能执行执行新任务的目的。在兼顾公平使用的基础上，最大化利用集群的资源。

pdf文档：[https://download.csdn.net/download/weixin\_40902527/11377551][https_download.csdn.net_download_weixin_40902527_11377551]

[aHR0cHM6Ly9pbWcyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNDE1OTAyLzIwMTgwOS80MTU5MDItMjAxODA5MjQxNzQ2NTA0NDctMTIxODgzNjg5MS5wbmc]: /images/20211204/5e28d9e313be47028015a2af504a39c7.png
[aHR0cHM6Ly9pbWcyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNDE1OTAyLzIwMTgwOS80MTU5MDItMjAxODA5MjQxNzQ3MzE2ODAtNzk4NDQwNTguZ2lm]: /images/20211204/386471f6ef384152b3d4a8ae058ebc99.png
[aHR0cHM6Ly9pbWFnZXMyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvMTIyODgxOC8yMDE4MDMvMTIyODgxOC0yMDE4MDMyNDE1NTc1NDA5Ny0xNzc5Mzg2NjU3LnBuZw]: /images/20211204/5e8339a4140145e89fb49f122bdb0cb0.png
[aHR0cHM6Ly9pbWcyMDE4LmNuYmxvZ3MuY29tL2Jsb2cvNDE1OTAyLzIwMTgwOS80MTU5MDItMjAxODA5MjQxNzQ4MDY3OTktMjgzNjM5MDkwLnBuZw]: /images/20211204/ea7ee00512b74b68b494187f4cce0c62.png
[https_download.csdn.net_download_weixin_40902527_11377551]: https://download.csdn.net/download/weixin_40902527/11377551