Hadoop-之yarn容量调度器之多队列配置与解读

Dear 丶 2022-10-23 09:59 295阅读 0赞

**摘要：**Hadoop-之yarn容量调度器之多队列配置与解读 前言 通常来说Yarn作为一个资源管理器&\#xff0c;可以给不同类型的Application分配资源&\#xff0c;并合理调度job执行&\#xff0c;Yarn支持的调度策略有3种。 FIFO SCHEDULERCAPACITY SCHEDULERFAIR SCHEDULER 但是默认是CAPA…

# Hadoop-之yarn容量调度器之多队列配置与解读 #

## 前言 ##

通常来说Yarn作为一个资源管理器，可以给不同类型的Application分配资源，并合理调度job执行，Yarn支持的调度策略有3种。

*  FIFO SCHEDULER
 *  **CAPACITY SCHEDULER**
 *  FAIR SCHEDULER

但是默认是`CAPACITY SCHEDULER`容量调度器,该调度器支持多个队列，每个队列中至多同时运行1个Application(`一个Hive-MR进程或者Spark进程都会为各自申请Application Master，然后申请资源，然后分发Task，然后分布式执行`)。

## 1 如何配置Yarn的调度器类型 ##

`如果不配置，默认使用capicity scheduler调度器`，如果需要指定其它的调度类型，我们需要通过`yarn-site.xml`进行配置，如Fair调度器配置如下。

<property>
      <name>yarn.resourcemanager.scheduler.class</name>
      <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    </property>

其它公平调度器的配置请参考：https://hadoop.apache.org/docs/r2.10.1/hadoop-yarn/hadoop-yarn-site/FairScheduler.html

## 2 容量调度器之任务并行度 ##

通常一个Yarn集群能够调度的总内存为所有NodeManager能够被Yarn调度的总内存的和，通常通过在yarn-site.xml中配置以下信息。

`NOTE：Capacity Scheduler的默认队列的个数为1个，名称为default`

<property>
         <name>yarn.nodemanager.resource.memory-mb</name>
         <value>4096</value>
    </property>

我们来看一下以下状况，现在同时基于Yarn调度启动了2个进程，一个规划式的Spark-SQL进程，同时启动了一个Hive的MR任务，明明内存只用了33%，为什么Hive的MR任务卡住不动了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodWZhbmdyZWFs_size_16_color_FFFFFF_t_70_pic_center]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodWZhbmdyZWFs_size_16_color_FFFFFF_t_70_pic_center 1]  
`Note：因为使用的容量调度器,容量调度器有一个参数，控制着Application Master占用的总内存不能超过Yarn能调度内存的10%，所以当Spark的APPMaster启动之后占用了8%，此时没有问题，但是之后又启动了一个HiveMR，此时申请启动APPMaster的时候，Yarn会推断，假如再启动一个APPMaster，那么AppMaster的占用内存就超出了10%，所以此时申请被阻塞，等待其它进程内存释放，这个参数如下。`

<property>
        <name>yarn.scheduler.capacity.maximum-am-resource-percent</name>
        <value>0.1</value>
        <description>
            这是集群中能被用于启动APPMaster的最大内存占比，这控制着并行运行的应用数量
            Maximum percent of resources in the cluster which can be used to run
            application masters i.e. controls number of concurrent running
            applications.
        </description>
    </property>

## 3 容量调度器之多队列配置 ##

为了避免只有一个队列导致任务串行的问题，我们可以指定`多队列配置`,具体配置如下。

<property>
        <name>yarn.scheduler.capacity.root.queues</name>
        <value>default,spark,flink</value>
        <description>
          The queues at the this level (root is the root queue).
        </description>
      </property>
    
      <property>
        <name>yarn.scheduler.capacity.root.default.capacity</name>
        <value>30</value>
        <description>Default queue target capacity.</description>
      </property>
      <property>
        <name>yarn.scheduler.capacity.root.spark.capacity</name>
        <value>40</value>
        <description>spark queue target capacity.</description>
      </property>
      <property>
        <name>yarn.scheduler.capacity.root.flink.capacity</name>
        <value>30</value>
        <description>flink queue target capacity.</description>
      </property>
    
      <property>
        <name>yarn.scheduler.capacity.root.default.state</name>
        <value>RUNNING</value>
        <description>
          The state of the default queue. State can be one of RUNNING or STOPPED.
        </description>
      </property>
      <property>
        <name>yarn.scheduler.capacity.root.spark.state</name>
        <value>RUNNING</value>
        <description>
          The state of the spark queue. State can be one of RUNNING or STOPPED.
        </description>
      </property>
      <property>
        <name>yarn.scheduler.capacity.root.flink.state</name>
        <value>RUNNING</value>
        <description>
          The state of the flink queue. State can be one of RUNNING or STOPPED.
        </description>
      </property>
    
     
    <property>
        <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
        <value>80</value>
        <description>
            The maximum capacity of the default queue.
        </description>
    </property>
    
    
      <property>
        <name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>
        <value>*</value>
        <description>
          The ACL of who can submit jobs to the default queue.
        </description>
      </property>
      <property>
        <name>yarn.scheduler.capacity.root.default.acl_administer_queue</name>
        <value>*</value>
        <description>
          The ACL of who can administer jobs on the default queue.
        </description>
      </property>
    
    
    ......

日志异常：

2021-01-23 21:07:59,050 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
    java.lang.IllegalArgumentException: Illegal capacity of -1.0 for queue root.spark at org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacitySchedulerConfiguration.getNonLabeledQueueCapacity(CapacitySchedulerConfiguration.java:335)
    .......
    org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: SHUTDOWN_MSG:

更多细节请参考：https://hadoop.apache.org/docs/r2.10.1/hadoop-yarn/hadoop-yarn-site/CapacityScheduler.html

`在配置完队列之后，重新启动yarn`，此时我们会看到WebUi的监控页面的队列信息如下图，说明配置生效。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodWZhbmdyZWFs_size_16_color_FFFFFF_t_70_pic_center 2]

## 4 为不同Application指定队列名称 ##

hadoop内部已经包含测试新队列的jar包，我们可以通过以下方式进行测试。

#指定新建的spark队列进行任务的提交
    hadoop jar /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.7.jar pi -Dmapreduce.job.queuename=spark 1 1
    
    #或者通过spark queue启动spark应用任务
    bin/spark-sql --master yarn --queue spark
    
    #sqoop指定对应的队列
    bin/sqoop import \
    -Dmapreduce.job.queuename=default \
    --connect ...
    
    #为lzo文件创建索引开启切片动能指定queue
    hadoop jar $lzojar  $main_class -Dmapreduce.job.queuename=default $target_dir
    
    
    #通过hive命令行指定queue
    hive
    >set mapreduce.job.queuename=default  #默认就是default

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodWZhbmdyZWFs_size_16_color_FFFFFF_t_70_pic_center]: /images/20221023/4e0620a648a4418a81745bc248b8a072.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodWZhbmdyZWFs_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221023/29a9b36cac4c4ab6805992ec20fe4dc2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NodWZhbmdyZWFs_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221023/e950b36597b542bba629ca14700ba98b.png