由于公司机房异常断电,导致测试环境的hadoop集群数据全部down掉。重启hadoop集群后,访问:http://xxx.xxx.xxx.xx:50070/dfshealth.html
提示:
NameNode is still loading. Redirecting to the Startup Progress page.
如图:
这个不是错误。因为hadoop启动时,会进入安全模式进行自检,自检完毕就好了。
下面来看看NameNode重启的状态变化:
NameNode启动,集群将处于安全模式。
查看集群的状态:
[hduser@hadoop0 bin]$ hdfs dfsadmin -safemode get
Safe mode is ON
HDFS中任何文件,目录和Block都被表示为一个对象存储在NameNode的内存中。该对象占用150 bytes的内存空间。在NameNode启动的时候,NameNode加载fsimage(Filesystem image:文件meta信息的持久化的检查点)文件到内存中,然后在editlog中执行相应的操作。加载fsimage文件包含文件metadata信息,但是不包含文件块位置的信息。
文件块位置的信息,是在所有DataNode启动的时候扫描本地磁盘,之后,DataNode保存的block信息,然后将这些信息汇报给NameNode,NameNode接收到每个DataNode的块信息汇报后,将接收到的块信息和其所在的DataNode等信息组装成BlockMap,保存在NameNode的内存中。
最后离开安全模式,NameNode正式可用。
在查看集群的状态:
[hduser@hadoop0 bin]$ hdfs dfsadmin -safemode get
Safe mode is OFF
查看NameNode日志:
2015-08-17 10:05:22,298 INFO org.apache.hadoop.hdfs.StateChange: STATE* Safe mode ON, in safe mode extension.
The reported blocks 450638 has reached the threshold 0.9990 of total blocks 450676. The number of live datanodes 5 has reached the minimum number 0. In safe mode extension. Safe mode will be turned off automatically in 9 seconds.
2015-08-17 10:05:25,844 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Rescanning after 30000 milliseconds
2015-08-17 10:05:25,846 INFO org.apache.hadoop.hdfs.server.blockmanagement.CacheReplicationMonitor: Scanned 0 directive(s) and 0 block(s) in 1 millisecond(s).
2015-08-17 10:05:32,299 INFO org.apache.hadoop.hdfs.StateChange: STATE* Leaving safe mode after 727 secs
2015-08-17 10:05:32,299 INFO org.apache.hadoop.hdfs.StateChange: STATE* Safe mode is OFF
因为DataNode向NameNode汇报块信息的进度,当99.9%的block汇报完毕就会离开安全模式。
自检完之后再访问:http://xxx.xxx.xxx.xx:50070/dfshealth.html。会发现有些Block已经无法恢复了。如图:
这些无法恢复的文件,每次访问该页面都会显示在页面上,可以通过如下命令删除这些已经损坏的文件:
./hdfs fsck -delete
也可以通过如下命令查看损坏的文件:
./hdfs fsck /
分享到:
相关推荐
自己编译的64bithadoop-2.2.0版本 [INFO] Reactor Summary: ...This command was run using /home/hadoop/Desktop/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
hadoop-2.2.0 64bit下载,自己编译的 [INFO] Reactor Summary: ...This command was run using /home/hadoop/Desktop/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
hadoop2.7.3 Winutils.exe hadoop.dll
缺少winutils.exe回报如下错误: Could not locate executable null \bin\winutils.exe in the hadoop binaries 缺少hadoop.dll 错误如下: Unable to load native-hadoop library for your platform… using ...
Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 1. 下载文件native.rar 并解压 2. 用SecureFX 上传, 替换native目录下文件,选择二进制文件上传。 3. ...
hadoop的hadoop.dll和winutils.exe下载
hadoop-2.6.0.tar.gz.mds,hadoop的安装包,版本为2.6.0,适应操作系统为Linux。
hadoop2.6.0 hadoop.dll包括winutils.exe
org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V 解决方案:下载本资源解压将hadoop.dll和winutils.exe文件复制到hadoop2.7.3的bin目录下即可解决。
Apache Hadoop (hadoop-3.3.3.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。 Apache Hadoop 软件库是一个框架,它允许使用简单的编程模型跨计算机集群分布式处理大型数据集。它旨在从单个服务器扩展到数千...
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...
hadoop-2.6.0-cdh5.14.2.tar.gz适用于Linux环境,centos7已测试
hadoop-2.2.0, 64 bit,下载 自己编译的64bit的hadoop-2.2.0,...This command was run using /home/hadoop/Desktop/hadoop-2.2.0-src/hadoop-dist/target/hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
基于M1芯片的Hadoop安装包
在网上下了好多2.6版本的hadoop.dll,但是都不好使,昨天有个好心网友给我发了一份,实际测试通过。开发环境是64位win7+hadoop2.7.1+redhat版本的linux。
org.apache.hadoop.classification org.apache.hadoop.conf org.apache.hadoop.contrib.utils.join org.apache.hadoop.examples org.apache.hadoop.examples.dancing org.apache.hadoop.examples.pi org....
hadoop-2.7.3.tar.gz 下载 目前相对比较稳定的版本 hadoop tar 包下载hadoop-2.7.3.tar.gz 下载 hadoop tar 包下载
Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...
hadoop2.7.x 都可以使用,在windows环境下运行hadoop、hbase、spark需要winutils.exe,否则会报错Could not locate executable null\bin\winutils.exe in the Hadoop binaries。
大数据/Linux安装包-hadoop-2.6.0-cdh5.15.1.tar.gz 大数据/Linux安装包-hadoop-2.6.0-cdh5.15.1.tar.gz 大数据/Linux安装包-hadoop-2.6.0-cdh5.15.1.tar.gz