通过访问 YARN 的 API 来获取队列信息

女爷i 2022-11-25 10:09 135阅读 0赞

> 主机上需要安装 jq 用来解析 json 串

访问 API，获取 json 数据

curl -s --negotiate -u :  "$rm:8088/ws/v1/cluster/scheduler"

通过 jq 命令来解析队列部分的数据

queue_json=`echo $queue_json|jq '.scheduler.schedulerInfo.queues'`

获取队列总数量

queue_json_size=`echo $queue_json|jq '.queue[]|.queueName'|wc -l`

根据总数来遍历数据，得到每个队列的信息

for((j=0;j<$queue_json_size;j++))
        do
          queue_name=`echo $queue_json|jq ".queue[$j].queueName"|sed 's/\"//g'`
          #echo $queue_name
          vcore_total=`echo $queue_json|jq ".queue[$j].maxEffectiveCapacity.vCores"`
          vcore_used=`echo $queue_json|jq ".queue[$j].resourcesUsed.vCores"`
          vcore_avali=`expr $vcore_total-$vcore_used|bc`
          vcore_used_rate=$([ $vcore_total == 0 ] && echo 0 || echo "$vcore_used $vcore_total"| awk '{printf "%.2f",$1/$2*100}')
          mem_total=`echo $queue_json|jq ".queue[$j].maxEffectiveCapacity.memory"`
          mem_used=`echo $queue_json|jq ".queue[$j].resourcesUsed.memory"`
          mem_avali=`expr $mem_total-$mem_used|bc`
          mem_used_rate=$([ $mem_total == 0 ] && echo 0 || echo "$mem_used $mem_total"| awk '{printf "%.2f",$1/$2*100}')
          app_submitted=`echo $queue_json|jq ".queue[$j].numApplications"`
          app_running=`echo $queue_json|jq ".queue[$j].numActiveApplications"`
          app_completed=`echo $queue_json|jq ".queue[$j].numPendingApplications"`
        done

根据 需要将数据推出去，或者写入数据库

> 脚本弊端：目前只支持两个层级的队列，脚本还需要优化

发表评论取消回复

表情：

评论列表（有 0 条评论，135人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java反射机制：如何通过API获取类信息

在Java中，反射机制是一种允许程序在运行时检查类、接口、字段和方法的信息的能力。以下是如何通过API获取类信息的步骤： 1. 获取Class对象：你可以通过类名或者

怼烎@/ 2024年12月03日 12:48/ 0 赞/ 43 阅读

相关 Java反射机制：如何通过API获取类信息

Java的反射机制允许我们在运行时检查对象的信息，包括类、方法、属性等。以下是通过API获取类信息的基本步骤： 1. `Class` 类：这是所有类的父类。在Java中，我们

叁歲伎倆/ 2024年11月25日 19:21/ 0 赞/ 70 阅读

相关 c语言获取天气信息示例(通过心知天气api获取)

关于curl/curl.h库的使用，参考下述内容： [VS2010编译libcurl库并简单使用(c语言)\_西晋的no1的博客-CSDN博客][VS2010_libcurl

傷城~/ 2023年10月09日 16:30/ 0 赞/ 69 阅读

相关 http协议调用API接口来获取天气信息

http协议调用API接口来获取天气信息 [API接口获取网址][API] API可以查询设备基本信息，同时包含时间信息，可用于更新时间 http://api.h

谁借莪１个温暖的怀抱￠/ 2023年02月11日 07:14/ 0 赞/ 23 阅读

相关 Elasticsearch通过RESTful API 获取索引和属性信息

最近有个需求是查询es集群下所有的索引信息，根据索引再查询索引的属性信息；不巧的是我用的es 6.1.3版本，采用的es最新推荐的RestHighLevelClient方式进行

缺乏、安全感/ 2022年12月10日 01:17/ 0 赞/ 178 阅读

相关 HDP 平台通过 Ambari 的 API 获取 YARN 运行状况

> 主机上需要安装 jq 用来解析 json 串通过 curl 访问 Ambari API，获取 json 格式的数据 curl -u ${username}:$

迈不过友情╰/ 2022年11月25日 10:09/ 0 赞/ 130 阅读

相关通过访问 YARN 的 API 来获取队列信息

> 主机上需要安装 jq 用来解析 json 串访问 API，获取 json 数据 curl -s --negotiate -u : "$rm:8088/ws/

女爷i/ 2022年11月25日 10:09/ 0 赞/ 136 阅读

相关 JAVA通过API获取天气预报信息(HTTP协议)

public class GetWeather { public static void main(String[] args) {

超、凢脫俗/ 2022年07月13日 12:29/ 0 赞/ 504 阅读

相关通过Win32 API 获取逻辑磁盘详细信息

原文链接：https://www.cnblogs.com/qq78292959/archive/2012/06/12/2546914.html 众所周知，在微软的[操作系统]

r囧r小猫/ 2022年05月28日 03:06/ 0 赞/ 263 阅读

相关 RabbitMQ通过HTTP API获取队列消息内容

RabbitMQ通过HTTP API获取队列消息内容背景为配合公司数据中台建设，我们对公司内部使用的mysql binlog数据分发中间件（现已开源：[http

谁借莪１个温暖的怀抱￠/ 2022年02月12日 22:37/ 0 赞/ 268 阅读