走进大数据丨 YARN

客官°小女子只卖身不卖艺 2023-06-19 11:05 57阅读 0赞

**概念**

YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

**内部组件**

Client:负责提交应用程序。

ResourceManager:全局的资源管理器, 整个集群只有一个, 负责集群资源的统一管理和调度分配。

ApplicationMaster:在yarn上运行的应用程序实例对象,负责管理此应用程序的执行。

功能：

1. 数据切分；

2. 为应用程序申请资源, 和进一步分配；

3. 任务监控和容错处理；

NodeManager:整个集群有多个, 负责本节点的资源管理和使用, NodeManager管理抽象容器container。

功能：

1. 单个节点上的资源管理和任务管理；

2. 处理来自 ResourceManager 的命令；

3. 处理来自 ApplicationMaster 的命令；

Container:yarn中对资源的抽象, 封装本节点上的内存,cpu,磁盘,网络等资源, 此资源就是用container表示。

**工作流程**

1. client端向ResourceManager提交应用程序, 也就是client端会将 jar包,参数等数据上传到hdfs上的某路径下。

2. resourceManager将此应用程序添加到任务队列中。

3. 等待资源充沛时, resourceManager为该应用程序分配第一个container，在这个container中启动应用程序的ApplicationMaster。

4. ApplicationMaster首先向ResourceManager注册，用户可以直接通过ResourceManager查看应用程序的运行状态, 还会进行分片等工作, 之后向ResourceManager申请运行任务所需的资源。

5. ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源, 发送命令让NodeManager创建container, 之后执行task。

6. ApplicationMaster监控job执行作业, 必要时候进行容错处理, 直到ApplicationMaster检测到job完成后, 向ResourceManager通知, 注销自己。

![format_png][]

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9sR2x2b0tIblJVSjA2Qk1oaEIyRG05REptTG5JZmdtU2RMYmttTmw3M0FoSVgwajlxMURORVlFSFJ0MW54TFZma0F5RkxVSUdwcTY3ajV3aHJiNjBidy82NDA?x-oss-process=image/format,png

发表评论取消回复

表情：

评论列表（有 0 条评论，57人围观）

还没有评论，来说两句吧...

相关阅读

相关走进大数据丨 String、StringBuffer和StringBuilder详解

String操作详解 StringBuilder>StringBuffer>String why? String:字符串常量 StringBuffer:字符串变量

ゝ一纸荒年。/ 2023年06月30日 01:54/ 0 赞/ 123 阅读

相关走进大数据丨 Hbase知识点详解

(一) hbase 基础 1. 什么是 hbase 一个分布式的、面向列的开源数据库，该技术来源于 fay chang 所写的 google 论文”Bigtab

冷不防/ 2023年06月28日 06:28/ 0 赞/ 18 阅读

相关走进大数据丨 ZooKeeper典型的应用场景

Zookeeper 从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册，一旦这些数据的状态发生变化，Zo

﹏ヽ暗。殇╰゛Y/ 2023年06月27日 11:15/ 0 赞/ 18 阅读

相关走进大数据丨 Hadoop生态体系

Hadoop是一个由Apache基金会所开发的分布式系统的基础架构。用户可以在不了解分布式的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。 Hadoop优点

你的名字/ 2023年06月19日 11:05/ 0 赞/ 70 阅读

相关走进大数据丨 YARN

概念 YARN是一种新的Hadoop资源管理器，它是一个通用的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。内部组件 Cli

客官°小女子只卖身不卖艺/ 2023年06月19日 11:05/ 0 赞/ 58 阅读

相关走进大数据丨 Kafka(三)

常见的Message Queue对比 RabbitMQ RabbitMQ是使用Erlang编写的一个开源消息队列，本身支持很多协议:AMQP、XMPP、SMPT、STOMP

逃离我推掉我的手/ 2023年06月19日 11:05/ 0 赞/ 57 阅读

相关走进大数据丨 Kafka(二)

Kafka的优点解耦在项目启动之初来预测项目将来会碰到什么需求，是极其困难的。消息系统在处理的过程中间插入了一个隐含的，基于数据的接口层，两边的处理过程都要实现这一接口

ゝ一世哀愁。/ 2023年06月19日 11:05/ 0 赞/ 11 阅读

相关走进大数据丨 ETL - 性能分析

ETL过程中难免遇到性能问题,运行很慢是一件较常见的事情,遇到这些问题时,我们该如何分析,解决呢?首先我们要找到问题出在哪里,也就是系统的瓶颈在哪. 1. 确定环境是否有瓶

古城微笑少年丶/ 2023年06月19日 11:05/ 0 赞/ 11 阅读

相关走进大数据丨 Kafka（一）

kafka概述 Kafka是一个分布式，分区的，多副本的，多订阅者，基于zookeeper协调的的分布式日志系统，常见可用于web/nginx日志，消息服务等等。 Kafk

小咪咪/ 2023年06月19日 11:04/ 0 赞/ 15 阅读

相关走进大数据丨 Hive常见函数

Hive中常见的SQL函数 1. 显示HOST地址 2. 1. select parse\_url('地址','HOST') 2. 实例: select pa

曾经终败给现在/ 2023年06月19日 11:04/ 0 赞/ 9 阅读