yarn 的作业执行流程

悠悠 2023-03-12 15:25 10阅读 0赞

### yarn 的作业执行流程 ###

*   *   *  yarn 架构及各个角色的职责
         *  yarn 的作业执行流程
         *  执行流程的另一种解释：

### yarn 架构及各个角色的职责 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMxMTE4NTU_size_16_color_FFFFFF_t_70]

yarn 作业执行流程

### yarn 的作业执行流程 ###

*  1、用户向 YARN 中提交应用程序，其中包括 MRAppMaster 程序，启动 MRAppMaster 的命令、用户程序等。
 *  2、 ResourceManager 为该程序分配第一个 Container，并与对应的 NodeManager 通讯，要求它在这个 Container 中启动应用程序 MRAppMaster。
 *  3、 MRAppMaster 首先向 ResourceManager 注册，这样用户可以直接通过ResourceManager查看应用程序的运行状态，然后将为各个任务申请资源，并监控它的运行状态，直到运行结束，重复 4 到 7 的步骤。
 *  4、 MRAppMaster 采用轮询的方式通过 RPC 协议（Remote Procedure Call Protocol 远程调用协议）向 ResourceManager 申请和领取资源。
 *  5、一旦 MRAppMaster 申请到资源后，便与对应的 NodeManager 通讯，要求它启动任务。
 *  6、 NodeManager 为任务设置好运行环境（包括环境变量、 JAR 包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。
 *  7、各个任务通过某个 RPC 协议向 MRAppMaster 汇报自己的状态和进度，以让 MRAppMaster随时掌握各个任务的运行状态，从而可以在任务败的时候重新启动任务。
 *  8、应用程序运行完成后， MRAppMaster 向 ResourceManager 注销并关闭自己。

![test哈哈哈哈][test]

yarn 架构

### 执行流程的另一种解释： ###

*  1)客户端提交应用程序（hadoop jar…），客户端先去请求resourcemanager 申请资源。
 *  2）rm会返回一个资源节点（node），用于启动当前应用程序的mrappmaster。
 *  3）rm会到对应的节点上，启动mrappmaster。
 *  4）mrappmaster 向resourcemanager申请资源（maptask|reducetask需要的资源）
 *  5）resourcemanager向mrappmaster 返回对应的资源节点。
 *  6）mrappmaster 就会到对应的资源节点上启动maptask | reducetask（container中启动）任务。
 *  7）maptask任务向 mrappmaster 进行汇报自己的运行状态和进度。
 *  8）当mrappmaster 获取到 有一个maptask执行完成后， 就开始启动reducetask(container中启动)。
 *  9)reducetask 启动之后，也会向 mrappmaster进行汇报自己的状态和进度。
 *  10）每一个maptask 或 reducetask 运行完成后， mrappmaster到对应的节点上进行资源回收。
 *  11）整个任务运行完成后，mrappmaster 会向resourcemanager汇报并注销自己， 并把整个运行结果返回给客户端。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTMxMTE4NTU_size_16_color_FFFFFF_t_70]: /images/20230312/4fe7f2723e5c4cb29be33db63993272a.png
[test]: /images/20230312/5dc6e6a929a642e8a181db7bce79950a.png