job提交过程

绝地灬酷狼 2022-01-31 04:01 275阅读 0赞

1.  客户端向resourcemanager申请提交job的请求。
2.  Resourcemanager向客户端返回job\_id以及共享资源路径hdfs/tmp
3.  客户端将共享资源（jar、逻辑切片、xml文件）放在共享资源路径下
4.  客户端向resourcemanager返回共享资源放置成功的响应，真正提交应用程序
5.  Resourcemanager向客户端返回一个节点信息（运行mrappmaster）
6.  Resourcemanager到相应的nodemanager节点启动mrappmaster.先启动container再启动mrappmaster
7.  Mrappmaster会将客户端提交的job进行初始化，生产application\_id，并生成当前的job工作簿，记录maptask|reducetask的进度和状态。
8.  Mrappmaster到共享资源路径下下载共享资源到本地。
9.  Mrappmaster向resourcemaster申请maptask|reducetask运行的资源，优先maptask
10. Resourcemanager向mrappmaster返回对应的nodemanager资源节点。maptask一般选择资源本地化，reducetask：随机选择
11. Mrappmaster到对应的节点启动maptask（先启动container，再启动maptask）
12. Maptask会到共享资源路径下下载共享资源到本地。
13. 开始运行maptask
14. Maptask在运行过程中向mrappmaster汇报自己的进度和状态
15. 当mrappmaster获取到一个节点的所有maptask任务执行完成，启动reducetask。
16. Mrappmaster到相应的节点启动reducetask（先启动container，再启动reducetask，启动一个线程执行fetch然后进行分组为，reducer.run做准备）
17. Reducetask到共享资源路径下下载共享资源到本地。
18. 所有的maptask执行完成，fetch完成，reducetask执行后续过程
19. Reducetask在运行期间向mrappmaster汇报自己的进度和状态
20. 当maptask reducetask运行完成mrappmaster到相应的节点进行资源回收
21. 所有maptask和reducetask运行完成mrappmaster向resourcemanager注销自己释放资源。