NameNode中数据节点的保存(1)——Host2NodesMap

谁践踏了优雅 2022-06-16 01:11 118阅读 0赞

对于一台主机，我们可以在它上面部署多个DataNode进程，这也就是说在一台机器上有多个DataNode节点，而且这些DataNode节点属于同一个HDFS集群，那么这里就有一个问题了，NameNode节点是如何考虑整个集群的负载均衡的？如果NameNode节点以DataNode节点为单位来考虑负载均衡的话，就会出现包含有多个DataNode节点的主机负载过重，所以就不得不以主机为单位来计算集群的负载情况了。在NameNode中用Host2NodesMap类来存储主机与DataNode节点之间的映射。

当一个DataNode节点向NameNode注册成功的时候，NameNode就会把这个DataNode节点存储到它的host2DataNodeMap属性中，也就是Host2NodesMap类的一个实例，这个类主要包含三个属性：

![0_1324968619Da87.gif][]

map：存储集群中所有主机上的所有DataNode节点；

r：用来随机选择给定主机上的某一个DataNode节点；

hostmapLock：控制对map的同步操作；

Host2NodesMap类主要负责对集群中的DataNode节点按在它们所在的主机进行分类管理，它可用来添加、删除、查询一个DataNode节点，它也可以按照主机或者DataNode的名字来查询。这些操作对应的方法是：

//判断一个DataNode节点在不在集群中
    
    boolean contains(DatanodeDescriptor node) {
        if (node==null) {
          return false;
        }
          
        String host = node.getHost();
        hostmapLock.readLock().lock();
        try {
          DatanodeDescriptor[] nodes = map.get(host);
          if (nodes != null) {
            for(DatanodeDescriptor containedNode:nodes) {
              if (node==containedNode) {
                return true;
              }
            }
          }
        } finally {
          hostmapLock.readLock().unlock();
        }
        
        return false;
      }
        
      //添加一个数据节点
      boolean add(DatanodeDescriptor node) {
        hostmapLock.writeLock().lock();
        try {
          if (node==null || contains(node)) {
            return false;
          }
          //找到DataNode节点所在的host
    
          String host = node.getHost();
          DatanodeDescriptor[] nodes = map.get(host);
          DatanodeDescriptor[] newNodes;
          if (nodes==null) {
            newNodes = new DatanodeDescriptor[1];
            newNodes[0]=node;
          } else { // rare case: more than one datanode on the host
            newNodes = new DatanodeDescriptor[nodes.length+1];
            System.arraycopy(nodes, 0, newNodes, 0, nodes.length);
            newNodes[nodes.length] = node;
          }
          map.put(host, newNodes);
          return true;
        } finally {
          hostmapLock.writeLock().unlock();
        }
      }
        
      //删除一个节点
      boolean remove(DatanodeDescriptor node) {
        if (node==null) {
          return false;
        }
          
        String host = node.getHost();
        hostmapLock.writeLock().lock();
        try {
          DatanodeDescriptor[] nodes = map.get(host);
          if (nodes==null) {
            return false;
          }
          if (nodes.length==1) {
            if (nodes[0]==node) {
              map.remove(host);
              return true;
            } else {
              return false;
            }
          }
          //rare case
          int i=0;
          for(; i<nodes.length; i++) {
            if (nodes[i]==node) {
              break;
            }
          }
          if (i==nodes.length) {
            return false;
          } else {
            DatanodeDescriptor[] newNodes;
            newNodes = new DatanodeDescriptor[nodes.length-1];
            System.arraycopy(nodes, 0, newNodes, 0, i);
            System.arraycopy(nodes, i+1, newNodes, i, nodes.length-i-1);
            map.put(host, newNodes);
            return true;
          }
        } finally {
          hostmapLock.writeLock().unlock();
        }
      }
        
      //根据主机名获取这个主机上的一个DataNode节点，如果这个主机上有多个DataNode节点，则随机选一个
      DatanodeDescriptor getDatanodeByHost(String host) {
        if (host==null) {
          return null;
        }
          
        hostmapLock.readLock().lock();
        try {
          DatanodeDescriptor[] nodes = map.get(host);
          // no entry
          if (nodes== null) {
            return null;
          }
          // one node
          if (nodes.length == 1) {
            return nodes[0];
          }
          // more than one node
          return nodes[r.nextInt(nodes.length)];
        } finally {
          hostmapLock.readLock().unlock();
        }
      }
        
      //根据DataNode节点的名字来找到这个节点
      public DatanodeDescriptor getDatanodeByName(String name) {
        if (name==null) {
          return null;
        }
          
        int colon = name.indexOf(":");
        String host;
        if (colon < 0) {
          host = name;
        } else {
          host = name.substring(0, colon);
        }
    
        hostmapLock.readLock().lock();
        try {
          DatanodeDescriptor[] nodes = map.get(host);
          // no entry
          if (nodes== null) {
            return null;
          }
          for(DatanodeDescriptor containedNode:nodes) {
            if (name.equals(containedNode.getName())) {
              return containedNode;
            }
          }
          return null;
        } finally {
          hostmapLock.readLock().unlock();
        }
      }

另外还有一个问题，刚才说了，NameNode节点如果只以主机为单位来评估集群的负载情况，其实也是不合理的。例如，在实际的应用中，如果在某个集群里面存在主机配置参差不齐的情况，则对于那些配置很高的主机来说，它们的很多资源会处于空闲状态，其工作量相对于那些配置较低的主机来说已经饱和了。正常的情况下，集群的管理人员会在配置差的主机上部署少量的DataNode节点，在配置高的主机上部署较多的DataNode节点，因次，NameNode节点就不能仅仅只通过主机工作量来评估集群的负载情况了。至于NameNode是如何进行集群的负载均衡的，我会在以后的文章中详细介绍，但是它的实现也不一定很好，大家期望也不要太高。

遗憾的是，Hadoop-0.2.0版本并没有这样考虑集群的负载情况，它用Host2NodesMap结构主要是能够根据某个客户端来获取其上的DataNode节点。但是，我上面猜测的并不是没有任何意义，或许将来Hadoop会把主机负载纳入到集群负载的考虑范围。

[0_1324968619Da87.gif]: /images/20220616/465e86a409c3486dafc9e3804d746fe6.png

发表评论取消回复

表情：

评论列表（有 0 条评论，118人围观）

还没有评论，来说两句吧...

相关阅读

相关 hadoop-1.2.1添加节点的方法

本帖介绍如何在已存在的集群环境增加节点，增加节点的大部分步骤都和安装步骤一样，在看本教程时需要结合[hadoop-1.2.1安装方法详解][hadoop-1.2.1]一起进行，

﹏ヽ暗。殇╰゛Y/ 2022年08月02日 12:44/ 0 赞/ 177 阅读

相关 NameNode节点的升级/回滚/提交

我记得在前面已经以regular方式为例详细的讲述了有关NameNode启动的过程，在开始本文的重点之前，我觉得还是有必要在简单的描述一下这个过程： ![0_1

太过爱你忘了你带给我的痛/ 2022年07月03日 16:24/ 0 赞/ 251 阅读

相关 NameNode节点加载FSImage+EditsLog

在前面的博文中，我曾多次提到过在NameNode的启动过程中有加载FSImage+EditsLog这一必不可少的一项。关于文件fsImage和文件edits是用来存

àì夳堔傛蜴生んèń/ 2022年06月16日 23:16/ 0 赞/ 164 阅读

相关 NameNode中数据节点的保存(2)——NetworkTopology

在前面的一篇文章中，我分析了NameNode用来保存DataNode节点的一种数据结构——Host2NodesMap类，它被用来存储主机与DataNode节点之

骑猪看日落/ 2022年06月16日 01:13/ 0 赞/ 179 阅读

相关 NameNode中数据节点的保存(1)——Host2NodesMap

对于一台主机，我们可以在它上面部署多个DataNode进程，这也就是说在一台机器上有多个DataNode节点，而且这些DataNode节点属于同一个HDFS集群

谁践踏了优雅/ 2022年06月16日 01:11/ 0 赞/ 119 阅读

相关 1.2、Activity的状态保存

Activity状态保存的基本使用学习Activity的生命周期，我们知道，当Activity进入到paused或者stopped状态后，这个Activity的状态仍然

超、凢脫俗/ 2022年05月13日 02:40/ 0 赞/ 197 阅读

相关主节点nameNode启动，数据节点dataNode崩溃

原因：是没有执行hdfs nameNode -format 初始化解决：把hadoop\_tmp目录下的文件都删除，执行命令hdfs nameNode -format 初始

男娘i/ 2022年04月05日 13:53/ 0 赞/ 264 阅读

相关 cassandra 1.2节点数据负载均衡

[http://www.datastax.com/docs/1.2/initialize/token\_generation\calculating-tokens-for-th

雨点打透心脏的1/2处/ 2022年03月06日 08:10/ 0 赞/ 245 阅读

相关 Namenode如何保存文件信息Namenode如何查找文件

[原文链接][Link 1] 过程总览 hdfs文件均存放在datanode上，namenode上不会存放文件。当客户上传一个文件后，namenode会先对文件作相应的

亦凉/ 2022年01月13日 12:27/ 0 赞/ 559 阅读

相关 Hadoop_NameNode_代码分析_数据结构（1）

（1）NameNode保存的两种信息：文件与block的映射、block与DataNode的映射。文件和block的映射，固化在磁盘上。而block和DataNode的映射在D

深藏阁楼爱情的钟/ 2021年12月07日 11:05/ 0 赞/ 217 阅读