Hadoop Capacity Scheduler配置与使用

忘是亡心i 2022-03-12 14:19 362阅读 0赞

** **

# Capacity Scheduler简介 #

Capacity Scheduler支持以下特性：

(1) 计算能力保证。支持多个队列，某个作业可被提交到某一个队列中。每个队列会配置一定比例的计算资源，且所有提交到队列中的作业共享该队列中的资源。

(2) 灵活性。空闲资源会被分配给那些未达到资源使用上限的队列，当某个未达到资源的队列需要资源时，一旦出现空闲资源资源，便会分配给他们。

(3) 支持优先级。队列支持作业优先级调度（默认是FIFO）

(4) 多重租赁。综合考虑多种约束防止单个作业、用户或者队列独占队列或者集群中的资源。

(5) 基于资源的调度。 支持资源密集型作业，允许作业使用的资源量高于默认值，进而可容纳不同资源需求的作业。不过，当前仅支持内存资源的调度。

# Capacity Scheduler配置方法 #

注：下文中xml配置文件都在hadoop安装目录下的conf文件夹内。

## 修改mapred-site.xml文件： ##

首先，在mapred-site.xml现有内容后增加如下内容，将调度器设置为Capacity Scheduler：

<property>
        <name>mapred.jobtracker.taskScheduler</name>
        <value>org.apache.hadoop.mapred.CapacityTaskScheduler</value>
    </property>

然后，设置任务队列的名称：

<property>
        <name>mapred.queue.names</name>
        <value>default,taskqueue</value>
    </property>

至此，mapred-site.xml文件修改完毕。不要忘记把配置同步到所有节点！

## 修改capacity-scheduler.xml文件： ##

这个文件中内容比较多，现有的内容是对整个Capacity Scheduler的配置，和任务队列的缺省配置，我们还需要添加对我们创建的每个任务队列的配置，以上文中创建的队列为例：

<!—configuration parameters of taskqueue --> 
    <property> 
       <name>mapred.capacity-scheduler.queue. taskqueue.capacity</name> 
        <value>60</value> 
       <description></description>     
      </property> 
       
      <property> 
       <name>mapred.capacity-scheduler.queue. taskqueue.maximum-capacity</name> 
       <value>-1</value> 
       <description></description>     
      </property> 
       
      <property> 
       <name>mapred.capacity-scheduler.queue. taskqueue.supports-priority</name> 
       <value>true</value> 
        <description>If true,priorities of jobs will be taken into account in scheduling decisions. 
        </description> 
      </property> 
       
        <property> 
       <name>mapred.capacity-scheduler.queue. taskqueue.minimum-user-limit-percent</name> 
        <value>100</value> 
       <description></description> 
      </property> 
     
      <property> 
       <name>mapred.capacity-scheduler.queue. taskqueue.user-limit-factor</name> 
        <value>2</value> 
        <description>Themultiple of the queue capacity which can be configured to allow a single userto acquire more slots. 
        </description> 
      </property> 
     
      <property> 
       <name>mapred.capacity-scheduler.queue. taskqueue.maximum-initialized-active-tasks</name> 
       <value>200000</value> 
       <description></description> 
      </property> 
     
      <property> 
        <name>mapred.capacity-scheduler.queue.taskqueue.maximum-initialized-active-tasks-per-user</name> 
       <value>100000</value> 
        <description></description> 
      </property> 
       
      <property> 
       <name>mapred.capacity-scheduler.queue. taskqueue.init-accept-jobs-factor</name> 
       <value>10</value> 
       <description></description> 
      </property> 
     
      
      <property> 
        <name>mapred.capacity-scheduler.queue.default.capacity</name> 
       <value>40</value> 
       <description></description>     
      </property> 
       
      <property> 
       <name>mapred.capacity-scheduler.queue.default.maximum-capacity</name> 
        <value>-1</value> 
       <description></description>     
      </property> 
       
      <property> 
       <name>mapred.capacity-scheduler.queue.default.supports-priority</name> 
       <value>true</value> 
       <description></description> 
      </property> 
     
      <property> 
        <name>mapred.capacity-scheduler.queue.default.minimum-user-limit-percent</name> 
       <value>100</value> 
       <description></description> 
      </property> 
       
      <property> 
       <name>mapred.capacity-scheduler.queue.default.user-limit-factor</name> 
        <value>4</value> 
       <description></description> 
      </property> 
     
      <property> 
       <name>mapred.capacity-scheduler.queue.default.maximum-initialized-active-tasks</name> 
       <value>200000</value> 
       <description></description> 
      </property>  
     
      <property> 
       <name>mapred.capacity-scheduler.queue.default.maximum-initialized-active-tasks-per-user</name> 
       <value>100000</value> 
       <description></description> 
      </property> 
     
      <property> 
        <name>mapred.capacity-scheduler.queue.default.init-accept-jobs-factor</name> 
       <value>10</value> 
       <description></description> 
    </property>

这里重点说明几项参数：

l  mapred.capacity-scheduler.queue.taskqueue.capacity决定队列的容量，这里两个队列分别占用60%和40%；

l  mapred.capacity-scheduler.queue.taskqueue.user-limit-factor决定队列可以抢占的资源，taskqueue队列这个值是3，所以用户可以使用的资源限量是60%\*2=120%,所有有效计算容量是集群的100%.其他队列的最大集群计算容量同理可得。

**最后，不要忘记把配置同步到所有节点！**

## 确认Capacity Scheduler包的存在 ##

查看$HADOOP\_HOME/lib目录下是否存在hadoop-capacity-scheduler.jar文件，若不存在，将contrib 文件夹中capacity-scheduler/hadoop-capacity-scheduler.jar  复制到lib目录中。

至此，整个配置过程完成。

在实际工程环境中，可能会频繁的修改队列的参数配置，每次修改过后都重启集群是不现实的，我们可以用如下命令刷新配置：

hadoopmradmin -refreshQueues

# 使用Capacity Scheduler #

mapreduce:在Job的代码中，设置Job属于的队列,例如taskqueue：

conf.setQueueName("taskqueue");

hive:在执行hive任务时，设置hive属于的队列,例如default:

setmapred.job.queue.name=default;