Hadoop2.6和2.7中几个重要的新特征

﹏ヽ暗。殇╰゛Y 2022-08-08 05:14 163阅读 0赞

Hadoop2.7

1. [YARN-1492][] \- Automatic shared, global caching of YARN localized resources (beta)

Hadoop Distributed Cache大家应该比较熟悉。它的局限是只能在一个Job间共享file，该特性期望实现多个job间共享file。不过Hadoop2.7中，该特征为Beta版本，社区希望在Hadoop2.8中实现正式版。

2. [MAPREDUCE-5583][] \- Ability to limit running Map/Reduce tasks of a job

该特征允许用户在提交一个MapReduce Job时，指定可同时运行的Map或Reduce的任务数目上限。看来该特性是寄期望于用户的自觉性，或者是集群规范的管理能力，以避免集群出现类似于DDoS的场景，希望这种期望不要落空......

当然，为了实现这个期望，必须要和Scheduler的资源分配等功能结合使用。

Hadoop2.6

1. [ HDFS-6740][HDFS-6740] \- Hot swap drive: support add/remove data node volumes without restarting data node (beta)

顾名思义，该特征可在不重启DataNode的情况下，添加新的磁盘，或者移除故障的磁盘了。对运维来说，这是一个非常给力的特征......。cloudera有一篇[博客，专门介绍这个特征，以及怎么操作去hot swap磁盘，感兴趣的话可以看看][hot swap]。

2. [YARN-796][] \- Support node labels during scheduling

该特征可让YARN更好的服务在异构集群中。对于这么重要的一个特征，遗憾的是，官方在上述以及相关链接中，描述的很是语焉不详，或许也是我理解能力比较差的原因吧......幸好是找到了[一篇介绍比较清楚的文章][Link 1]，如果你没有时间阅读这篇文章，我下面引用该文章中的一段话，相信你看了之后，大致可以知道该特征是怎么回事了。

”用户可以为每个nodemanager标注几个标签，比如highmem，highdisk等，以表明该nodemanager的特性；同时，用户可以为调度器中每个队列标注几个标签，这样，提交到某个队列中的作业，只会使用标注有对应标签的节点上的资源“

貌似该特征目前只支持Capacity Scheduler。

3. [ YARN-1051][YARN-1051] \- Support for time-based resource reservations in Capacity Scheduler (beta)

目前的Capacity Scheduler虽然已经具有Job优先级、层级队列、容量担保（为每个队列分配最小和最大资源）、弹性（一个队列空闲的资源可供其它队列使用）等功能，但是仍然不能满足具有显式资源预定需求的Job。这类Job一般由多个子Job构成，带有时间期限，并且对资源的需求随时间变化而变化，典型代表为gang scheduling和workflows。该特征期望在Capacity Scheduler上添加这个能力，这样就能使Resource Manager可以提前规划资源分配。该特征也是beta版本。

[YARN-1492]: https://issues.apache.org/jira/browse/YARN-1492
[MAPREDUCE-5583]: https://issues.apache.org/jira/browse/MAPREDUCE-5583
[HDFS-6740]: https://issues.apache.org/jira/browse/HDFS-6740
[hot swap]: http://blog.cloudera.com/blog/2015/05/new-in-cdh-5-4-how-swapping-of-hdfs-datanode-drives/
[YARN-796]: https://issues.apache.org/jira/browse/YARN-796
[Link 1]: http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-label-based-scheduling/
[YARN-1051]: https://issues.apache.org/jira/browse/YARN-1051