常在河边走,哪有不湿鞋,搞hadoop时间久了,因为误操作或者硬件问题,导致NameNode数据丢失,元数据丢失,hdfs数据就会无法发现,所以这篇就总结如何恢复NameNode数据。datanode数据就不用恢复了,设置好副本,副本丢了会自动恢复,恢复不了就真的是丢了,没办法了。
NameNode数据恢复原理依据
因为SecondaryNameNode负责合并NameNode中的Fsimage和Edit文件,所以它也保存了上次合并的NameNode中Fsimage和Edit文件!然后所以我们可以把它拷贝到NameNode上,所以最后一次没有合并的数据还是会丢失。
方法一:将SecondaryNameNode中数据拷贝到NameNode存储数据的目录
1 kill -9 NameNode进程
2 删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)
[lsl@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
3 拷贝启动SecondaryNameNode的DataNode中数据到原NameNode存储数据目录
[lsl@hadoop102 dfs]$ scp -r lsl@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/* ./name/
4.重新启动NameNode
[lsl@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
方法二:使用-importCheckpoint选项启动NameNode守护进程,从而将SecondaryNameNode中数据拷贝到NameNode目录中。
1.修改hdfs-site.xml
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>120</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp/dfs/name</value>
</property>
2.kill -9 NameNode进程
3.删除NameNode存储的数据(/opt/module/hadoop-2.7.2/data/tmp/dfs/name)
[lsl@hadoop102 hadoop-2.7.2]$ rm -rf /opt/module/hadoop-2.7.2/data/tmp/dfs/name/*
4 如果SecondaryNameNode不和NameNode在一个主机节点上,需要将SecondaryNameNode存储数据的目录拷贝到NameNode存储数据的平级目录,并删除in_use.lock文件
[lsl@hadoop102 dfs]$ scp -r lsl@hadoop104:/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary ./
[lsl@hadoop102 namesecondary]$ rm -rf in_use.lock
[lsl@hadoop102 dfs]$ pwd
/opt/module/hadoop-2.7.2/data/tmp/dfs
[lsl@hadoop102 dfs]$ ls
data name namesecondary
5.**导入检查点数据(等待一会ctrl+c结束掉)
[lsl@hadoop102 hadoop-2.7.2]$ bin/hdfs namenode -importCheckpoint
6 启动NameNode
[lsl@hadoop102 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode