Hadoop根据SecondaryNameNode恢复NameNode

阳光穿透心脏的1/2处 2022-06-07 03:09 253阅读 0赞

**1.制造NameNode宕机的情况**

**1.1)：kill 掉NameNode的进程**

**\[plain\]**  [view plain][]   [copy][view plain]

1.  \[hadoop@hadoop bin\]$ kill -9 13481

**1.2)：删除dfs.name.dir所指向的文件夹，这里是/home/hadoop/hdfs/name**

**\[plain\]**  [view plain][]   [copy][view plain]

1.  current  image  in\_use.lock  previous.checkpoint  
2.  \[hadoop@hadoop name\]$ rm -rf \*

注：是删除name目录下的所有内容，但是必须保证name这个目录是存在的。

**1.3)：从SecondaryNameNode元数据namesecondary目录下复制到NameNode name目录下。**

我的Secondary NameNode目录：

**\[plain\]**  [view plain][]   [copy][view plain]

1.  /home/hadoop/tmp/dfs/namesecondary

复制过程：

**\[plain\]**  [view plain][]   [copy][view plain]

1.  \[hadoop@hadoop name\]$ cp -R /home/hadoop/tmp/dfs/namesecondary/\* .

**1.4)：启动NameNode**

**\[plain\]**  [view plain][]   [copy][view plain]

1.  \[hadoop@hadoop bin\]$ ./hadoop-daemon.sh start namenode

**1.5)：检查**

使用hadoop fsck /user命令减产文件爱你Block的完整性

**\[plain\]**  [view plain][]   [copy][view plain]

1.  <font size="2">\[hadoop@hadoop bin\]$ hadoop fsck /</font>  
2.  Warning: $HADOOP\_HOME is deprecated.  
3.    
4.  FSCK started by hadoop from /192.168.0.101 for path / at Sun Dec 22 23:04:31 CST 2013  
5.  ...................................  
6.  /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310222119\_0001/job.jar:  Under replicated blk\_-8571652065964704775\_1020. Target Replicas is 10 but found 1 replica(s).  
7.  .  
8.  /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310222119\_0002/job.jar:  Under replicated blk\_-5947701456602696019\_1021. Target Replicas is 10 but found 1 replica(s).  
9.  .  
10. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310222119\_0003/job.jar:  Under replicated blk\_8214183112681524571\_1022. Target Replicas is 10 but found 1 replica(s).  
11. .  
12. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310222142\_0001/job.jar:  Under replicated blk\_4805420250921446015\_1024. Target Replicas is 10 but found 1 replica(s).  
13. .  
14. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310222142\_0002/job.jar:  Under replicated blk\_7913185784171356584\_1027. Target Replicas is 10 but found 1 replica(s).  
15. .  
16. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310222142\_0004/job.jar:  Under replicated blk\_-8411847042533891069\_1035. Target Replicas is 10 but found 1 replica(s).  
17. .  
18. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310222142\_0005/job.jar:  Under replicated blk\_2163772543235273521\_1036. Target Replicas is 10 but found 1 replica(s).  
19. .  
20. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310222142\_0007/job.jar:  Under replicated blk\_-3491660194168043022\_1044. Target Replicas is 10 but found 1 replica(s).  
21. .  
22. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242056\_0002/job.jar:  Under replicated blk\_5280511346594851641\_1270. Target Replicas is 10 but found 1 replica(s).  
23. .  
24. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242056\_0003/job.jar:  Under replicated blk\_5588149584508213931\_1271. Target Replicas is 10 but found 1 replica(s).  
25. .  
26. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242056\_0004/job.jar:  Under replicated blk\_-1846184614352398688\_1272. Target Replicas is 10 but found 1 replica(s).  
27. .  
28. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242056\_0005/job.jar:  Under replicated blk\_8253537375261552577\_1273. Target Replicas is 10 but found 1 replica(s).  
29. .  
30. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242100\_0001/job.jar:  Under replicated blk\_-6858089306760733073\_1275. Target Replicas is 10 but found 1 replica(s).  
31. .  
32. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242100\_0002/job.jar:  Under replicated blk\_-630176777256891004\_1276. Target Replicas is 10 but found 1 replica(s).  
33. .  
34. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242100\_0003/job.jar:  Under replicated blk\_3453389521553623867\_1277. Target Replicas is 10 but found 1 replica(s).  
35. .  
36. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242100\_0004/job.jar:  Under replicated blk\_-4262000880964323956\_1278. Target Replicas is 10 but found 1 replica(s).  
37. .  
38. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242105\_0001/job.jar:  Under replicated blk\_-5324801167724976561\_1280. Target Replicas is 10 but found 1 replica(s).  
39. .  
40. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242105\_0002/job.jar:  Under replicated blk\_3284342834321881345\_1281. Target Replicas is 10 but found 1 replica(s).  
41. .  
42. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242105\_0004/job.jar:  Under replicated blk\_5174401550469241860\_1295. Target Replicas is 10 but found 1 replica(s).  
43. .  
44. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242105\_0009/job.jar:  Under replicated blk\_6390129220783606015\_1327. Target Replicas is 10 but found 1 replica(s).  
45. .  
46. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201310242105\_0010/job.jar:  Under replicated blk\_8995477665353821346\_1328. Target Replicas is 10 but found 1 replica(s).  
47. .  
48. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201311292212\_0007/job.jar:  Under replicated blk\_-6447241034801532571\_1699. Target Replicas is 10 but found 1 replica(s).  
49. .  
50. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201312082210\_0001/job.jar:  Under replicated blk\_-187920261151639503\_1741. Target Replicas is 10 but found 1 replica(s).  
51. .  
52. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201312082210\_0002/job.jar:  Under replicated blk\_1912732980088631445\_1742. Target Replicas is 10 but found 1 replica(s).  
53. .  
54. /home/hadoop/tmp/mapred/staging/hadoop/.staging/job\_201312092348\_0001/job.jar:  Under replicated blk\_448639237400606735\_1953. Target Replicas is 10 but found 1 replica(s).  
55. .  
56. /home/hadoop/tmp/mapred/system/jobtracker.info: CORRUPT block blk\_-4973841422235657473  
57.   
58. /home/hadoop/tmp/mapred/system/jobtracker.info: MISSING 1 blocks of total size 4 B.Status: CORRUPT  
59.  Total size:        367257 B  
60.  Total dirs:        83  
61.  Total files:        60  
62.  Total blocks (validated):        57 (avg. block size 6443 B)  
63.   \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
64.   CORRUPT FILES:        1  
65.   MISSING BLOCKS:        1  
66.   MISSING SIZE:                4 B  
67.   CORRUPT BLOCKS:         1  
68.   \*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*  
69.  Minimally replicated blocks:        56 (98.24561 %)  
70.  Over-replicated blocks:        0 (0.0 %)  
71.  Under-replicated blocks:        25 (43.85965 %)  
72.  Mis-replicated blocks:                0 (0.0 %)  
73.  Default replication factor:        1  
74.  Average block replication:        0.98245615  
75.  Corrupt blocks:                1  
76.  Missing replicas:                225 (401.7857 %)  
77.  Number of data-nodes:                1  
78.  Number of racks:                1  
79. FSCK ended at Sun Dec 22 23:04:31 CST 2013 in 89 milliseconds

[view plain]: http://blog.csdn.net/lzm1340458776/article/details/38820739#