HBase读取数据卡住长时间不返回的原因分析

拼搏现实的明天。 2022-09-24 01:28 282阅读 0赞

这些天做HBase，但是遇到Hbase连接上之后读取数据的时候，一直卡在那儿，程序既不报错也不结束，让我好生纠结，困扰我一整天。现在问题终于解决，现在写了一段Demo代码，具体如下：

public static void main(String[] args) throws IOException {
        System.setProperty("hadoop.home.dir", "f:/hadoop/hadoop-common-2.2.0-bin-master");
        conf = new Configuration();
        conf.set("hbase.zookeeper.quorum", "192.168.179.216,192.168.179.215");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
        conf.set("zookeeper.znode.parent", "/hbase");
    
        try {
            // establish the connection to the cluster.
            Connection connection = ConnectionFactory.createConnection(conf);
            // retrieve a handle to the target table.
            table = connection.getTable("MyTable");
    
            Scan scan = new Scan();
            System.out.println("Scan object instantiated");
            ResultScanner scanner = table.getScanner(scan);
            System.out.println("ResultScanner object instantiated");
            for(Result res: scanner){
                System.out.println(Bytes.toString(res.getRow()));
                System.out.println("Next iteration");
            }
        } catch (IOException e) {
            e.printStackTrace();
        } finally {
           // close everything down
           if (table != null) table.close();
           if (connection != null) connection.close();
       }
    }

在我的实际项目中，当程序执行到`table = connection.getTable("MyTable")`时，程序就一直卡在那儿，也不报任何错误。我束手无策，但是任务很多也很着急我不得不想尽一切办法来解决，于是我陷入了深深地思考，这个过程是及其痛苦的….  
　　我写了测试类，找出log，忍着一句一句往下看，终于看到程序一直在不断的进行连接，一直不停的重试，突然让我明白或许是我的hosts配置有问题，导致程序解析主机名出现错误，一直重新连接尝试。简单来说就是hosts文件中配置的主机名和真实主机名不一致，并且还加入了额外的hosts配置信息干扰到了正确解析主机名。  
　　因此我运行demo程序的工作机没有配置任何额外的hosts，连接ZooKeeper时直接使用的IP地址，但是HBase Client 底层在进行操作时可能引入了主机名反向连接，作为完全干净的工作机当然找不到对应的服务器，就不断地在后台重试导致生成了上述的日志。当我把出现问题的两个hosts记录加入到工作机后，问题解决。折腾了一天终于就这么点问题，终于搞定。  
　　通过上述错误可知，Hadoop集群中hostname一定要与hosts文件中配置的名称一致，并且力求保证集群映射关系的纯净，不要把其他不相干的业务也部署在其中，引起不必要的麻烦。