Hadoop格式化后出现异常

￡神魔★判官ぃ 2022-06-10 11:08 213阅读 0赞

我在正常安装Hadoop 格式化后正常启动，在安装成功后再次格式化就出现了异常，对文件进行上传和删除时都出现了同样的异常 说是DataNode没有启动，我使用jps查看一下 别的都启动了 只有DataNode没有启动，解决方案从如下论坛中

[http://forum.hadoop.tw/viewtopic.php?f=4&t=43][http_forum.hadoop.tw_viewtopic.php_f_4_t_43]找到启发，但是可能是版本不一致，并不像论坛中所说的DataNode和NameNode都有namespaceID

只好从DataNode的Log日志中查询：

找到了如下一段错误信息：

2017-08-16 15:04:46,518 INFO org.apache.hadoop.hdfs.server.common.Storage: Using 1 threads to upgrade data directories (dfs.datanode.parallel.volumes.load.threads.num=1, dataDirs=1)
    2017-08-16 15:04:46,525 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /cloud/hadoop-2.7.4/temp/dfs/data/in_use.lock acquired by nodename 29522@hadoop1
    2017-08-16 15:04:46,526 WARN org.apache.hadoop.hdfs.server.common.Storage: Failed to add storage directory [DISK]file:/cloud/hadoop-2.7.4/temp/dfs/data/
    java.io.IOException: Incompatible clusterIDs in /cloud/hadoop-2.7.4/temp/dfs/data: namenode clusterID = CID-1faf1f78-2d7a-4a70-8d62-83aa4dfd13c7; datanode clusterID = CID-d520d56a-ca5f-4e18-9cd0-443925773aba
            at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:777)
            at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadStorageDirectory(DataStorage.java:300)
            at org.apache.hadoop.hdfs.server.datanode.DataStorage.loadDataStorage(DataStorage.java:416)
            at org.apache.hadoop.hdfs.server.datanode.DataStorage.addStorageLocations(DataStorage.java:395)
            at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:573)
            at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1386)
            at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1351)
            at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:313)
            at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:216)
            at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:637)
            at java.lang.Thread.run(Thread.java:748)

Incompatible clusterIDs in /cloud/hadoop-2.7.4/temp/dfs/data: namenode clusterID = CID-1faf1f78-2d7a-4a70-8d62-83aa4dfd13c7; datanode clusterID = CID-d520d56a-ca5f-4e18-9cd0-443925773aba

说是NameNode的clusterId 和DataNode的 clusterId不一致：

查看一下 果然不一致：

[root@hadoop1 current]# cat VERSION 
    #Wed Aug 16 14:25:21 EDT 2017
    namespaceID=1793769073
    clusterID=CID-1faf1f78-2d7a-4a70-8d62-83aa4dfd13c7 #NameNode上的clusterID
    cTime=0
    storageType=NAME_NODE
    blockpoolID=BP-1093563334-192.168.0.10-1502907921813
    layoutVersion=-63
    [root@hadoop1 current]# pwd
    /cloud/hadoop-2.7.4/temp/dfs/name/current
    [root@hadoop1 current]# cat /cloud/hadoop-2.7.4/temp/dfs/data/current/VERSION 
    #Wed Aug 16 14:18:20 EDT 2017
    storageID=DS-713444f8-0e13-4a63-8ac5-21eb435438cd
    clusterID=CID-d520d56a-ca5f-4e18-9cd0-443925773aba #DataNode上的clusterID
    cTime=0
    datanodeUuid=d6813d12-3427-4577-a40b-d504ba5089bf
    storageType=DATA_NODE
    layoutVersion=-56

我将DataNode的clusterID修改成了NameNode版本号中的clusterID

![Center][]

(按照正常逻辑修改任意一方的ClusterID和另一方保持一致即可)

然后重新启动Hadoop

发现启动了DataNode，然后测试上传 发现问题竟然解决了

![Center 1][]

总结：发现以前遇到错误总是什么都不想 先将错误信息去网上查询解决方案并不一定奏效，才发现日志是一个好东西，遇到错误说不定在对应的日志中就能找到解决方案。

[http_forum.hadoop.tw_viewtopic.php_f_4_t_43]: http://forum.hadoop.tw/viewtopic.php?f=4&t=43
[Center]: /images/20220610/d67b5fb4663141e292419e47d8cc1318.png
[Center 1]: /images/20220610/417e0463389145c38c0f329ba91ae1a3.png

发表评论取消回复

表情：

评论列表（有 0 条评论，213人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop：格式化脚本【删除所有节点的所有数据，重新格式化HDFS】【使用Hadoop之前需要格式化】

如果集群是第一次启动，需要在配置为NameNode的节点（比如：hadoop102节点）格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameN

Myth丶恋晨/ 2023年09月25日 21:01/ 0 赞/ 51 阅读

相关 Hadoop格式化NameNode后DateNode无法启动

问题：当Hadoop执行`"hadoop namenode -format"`命令格式化NameNode后发现DateNode无法启动分析：第一次启动HDF

以你之姓@/ 2023年06月26日 08:22/ 0 赞/ 82 阅读

相关升级python3后yum出现异常解决办法

![20200819135119114.png][] ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6

傷城~/ 2022年11月29日 05:42/ 0 赞/ 182 阅读

相关 mybatis异常：maven打包后，出现invalid bound statement (not found)异常

摘要：如题，使用mybatis时，maven打包后出现invalid bound statement (not found)异常原因一：\\Mapper.xml文件

蔚落/ 2022年11月15日 12:57/ 0 赞/ 195 阅读

相关解决使用CHtmlView后出现的COleException异常

程序中在使用CHtmlView类来实现浏览器功能时,在调整窗口大小时会窗口输出异常警告,例如我的出现的警告如下: Warning: constructing COleExce

╰半橙微兮°/ 2022年10月01日 01:56/ 0 赞/ 187 阅读

相关 Hadoop格式化后出现异常

我在正常安装Hadoop 格式化后正常启动，在安装成功后再次格式化就出现了异常，对文件进行上传和删除时都出现了同样的异常说是DataNode没有启动，我使用jps查看一下别

￡神魔★判官ぃ/ 2022年06月10日 11:08/ 0 赞/ 214 阅读

相关 csdn粘贴代码后出现编辑异常的解决

作为一个新手，使用csdn见识各路大佬大展身手，也想自己写一点东西，结果经常会被一些小问题折腾到痛不欲生，例如粘贴代码后编辑异常，百度不得，兴趣群问也没人回应，只能自己重新敲

朱雀/ 2022年06月06日 07:49/ 0 赞/ 225 阅读

相关 hadoop格式化namenode时报异常： URI has an authority component

今天部署2.7.1时在格式化namenode时遇到下面的错误 \[html\] [view plain][] [copy][view plain] 1. 省略前面部分..

谁借莪１个温暖的怀抱￠/ 2022年05月27日 01:11/ 0 赞/ 381 阅读

相关 hadoop多次格式化后，导致的问题

1.hadoop namenode多次格式化可能导致的问题 1.1 各个单独结点可以起来（jps有进程提示）但是用hdfs dfsadmin -report去查各项

叁歲伎倆/ 2022年05月09日 00:38/ 0 赞/ 440 阅读

相关 Hadoop格式化hdfs

0.停止集群 ./stop-all.sh 1.删除目录格式化NameNode时，会产生新的clusterID,导致NameNode和DataNode的c

「爱情、让人受尽委屈。」/ 2021年11月10日 10:34/ 0 赞/ 360 阅读