NameNode对域名/IP的解析——DNSToSwitchMapping

妖狐艹你老母 2022-06-16 08:51 258阅读 0赞

前面介绍Networktopology结构的时候就说过，NameNode把注册的DataNode节点按照他们的ip地址存储到一个树状网络拓扑图中(对应Networktopology的一个实例)，然后NameNode调用ReplicationTargetChooser来为每一个数据块副本选择合适的存储节点。那么，NameNode是如何把一个数据节点按照它的ip解析到对应的树状网络拓扑图中的一个叶子节点呢？

实际上，这个过程很简单，NameNode把这个NameNode节点所在主机的ip地址按照用户设计的规则转换成一个对应的路径格式(如：/\*/\*/\*/\*)，这个路径就对应了树状网络拓扑图中的一个非叶子节点，NameNode就把这个数据节点存放到这个非叶子节点下面，作为它的叶子节点。现在关键的问题就是NameNode如何把一个ip地址解析成一个路径的形式。刚才说了，NameNode是按照用户设计的转换规则来的，它自己并不知道如何转换，也就是说这个转换是交由用户自己来实现的。

HDFS将ip地址转换成路径的操作交给了用户自己来实现，即用户通过自己实现接口DNSToSwitchMapping，然后在配置文件中指明实现的这个类，NameNode就能够自动的调用用户的解析实现了。哦，对了，这个对应的配置项是：topology.node.switch.mapping.impl。

现在我想说一下，HDFS为什么要把ip地址的解析交给用户自己来实现？这是因为HDFS不得不把这个过程交给用户来实现，只有集群管理员即用户才知道哪些ip地址对应的机器被放在同一个机架下面，哪些机架在同一个路由器下面，说白了就是只有集群管理员才知道机器之间的网络距离。好了，现在就来具体看看与DNSToSwitchMapping相关的实现。

![0_1325147779lm0j.gif][]

HDFS考虑到性能问题，一方面把DNSToSwitchMapping接口定义成一个批量解析任务，另一方面自己还定义了一个缓存类CacheDNSToSwitchMapping来保存解析的结果。同时，HDFS自己也定义了一个DNSToSwitchMapping的实现RawScriptBasedMapping，这个实现类被设计成了一个插件集成类，它通过执行shell脚本语言调用第三方的实现来获取一批ip地址的解析结果，这实际上还是将真正的解析过程交给了用户。在默认的情况下，NameNode使用ScriptBasedMapping来解析ip地址。现在来好好的分析一下这个RawScriptBasedMapping实现类。

RawScriptBasedMapping类主要包含三个参数：

![0_13251480305p7e.gif][]

scriptName：调用第三方ip解析实现的脚本命令；

maxArgs：第三方ip解析实现一次调用最多能解析多少个ip；

conf：通过配置文件获取scriptName和maxArgs；

RawScriptBasedMapping根据NameNode传过来的ip解析任务分批调用第三方ip解析器来执行这些ip的解析，每一批不能超过maxArgs个ip地址。调用的过程如下：

private String runResolveCommand(List<String> args) {
        int loopCount = 0;
        if (args.size() == 0) {
          return null;
        }
        StringBuffer allOutput = new StringBuffer();
        int numProcessed = 0;
        if (maxArgs < MIN_ALLOWABLE_ARGS) {
          LOG.warn("Invalid value " + Integer.toString(maxArgs) + " for " + SCRIPT_ARG_COUNT_KEY + "; must be >= " + Integer.toString(MIN_ALLOWABLE_ARGS));
          return null;
        }
        
        while (numProcessed != args.size()) {
          int start = maxArgs * loopCount;
          List <String> cmdList = new ArrayList<String>();
          cmdList.add(scriptName);
          for (numProcessed = start; numProcessed < (start + maxArgs) && numProcessed < args.size(); numProcessed++) {
            cmdList.add(args.get(numProcessed));
          }
          File dir = null;
          String userDir;
          if ((userDir = System.getProperty("user.dir")) != null) {
            dir = new File(userDir);
          }
          ShellCommandExecutor s = new ShellCommandExecutor(cmdList.toArray(new String[0]), dir);
          try {
            s.execute();
            allOutput.append(s.getOutput() + " ");
          } catch (Exception e) {
            LOG.warn(StringUtils.stringifyException(e));
            return null;
          }
          loopCount++;
        }
        
        return allOutput.toString();
      }

现在我将举一个完整的例子，即自己实现一个第三方的ip解析插件，来详细的阐述整个实现与配置过程：

1).自定义一个ip解析器

利用C语言写一个简单的程序，对每一个传入的ip地址，都输出对应的一个路径，然后编译连接生成一个可执行文件：ipresolve

#include<stdio.h>
    
    int main(int argc, char ** argv){
        
        if(argc>1){
            int i;
            for(i=1; i<argc; ++i) printf("/rack/rakc/rakc%d\n",i);
        }
        
        return 0;
    }

2).在HDFS的配置文件core-site.xml中配置这个第三方插件

<property>
      <name>topology.script.file.name</name>
      <value>/home/**/ipresolve</value>
      <description>可执行文件ipresolve的绝对路径</description>
    </property>
    
    <property>
      <name>topology.script.number.args</name>
      <value>10</value>
      <description></description>
    </property>

3).测试

public static void main(String[] args){
          Configuration conf = new Configuration();
          ScriptBasedMapping sbp = new ScriptBasedMapping();
          sbp.setConf(conf);
          
          List<String> ips = new ArrayList<String>();
          ips.add("127.0.0.1");
          ips.add("127.0.0.2");
          ips.add("127.0.0.3");
          ips.add("127.0.0.4");
          
          List<String> result = sbp.resolve(ips);
          for(int i=0; i<result.size(); ++i){
              System.out.println(result.get(i));
          }
      }

4).测试输出

![0_13251567889ndC.gif][]

当然，对用户来说有两种方式来实现用户自定义的ip解析器，一中是直接实现DNSToSwitchMapping接口，并将这个实现类配置到配置文件的项；另一种就是上面的的插件方式。就性能而言，第一种方式为佳，就可扩展行而言，第二种方式为佳，不过，这最后还是取决于用户自己的应用场景。

[0_1325147779lm0j.gif]: /images/20220616/415a475dbbef4baab1cb61b3db1769cc.png
[0_13251480305p7e.gif]: /images/20220616/98d87e3e0b2a439da340f258ed79a8ee.png
[0_13251567889ndC.gif]: /images/20220616/fde72b25520c4b8aafdc27ce55b30d31.png