Problem:NameNode is not formatted
很明显示namenode没有format
将namenode的文件夹删除,然后hadoop namenode -format
网上好多文档都只会告诉你 hadoop namenode -format 就行
namenode文件夹即dfs.name.dir指定的值
could only be replicated to 0 nodes
官方给出的解释是,在启动时上传hdfs文件时,datanode仍然在和namenode通讯
解决办法是保证有足够的datanode启动,尝试分别启动hdfs和mapred不成功
查看datanode的日志报
java.io.IOException: Incompatible
namespaceIDs in /home/iic/hadoop-0.20.2/hdfs-data: namenode namespaceID = 1444851414; datanode namespaceID = 620054427
清空集群里,所有目录/home/iic/hadoop-0.20.2/hdfs-data下的东西,如果还不行就清空所有namenode,datanode文件夹,重新格式化,我就是这样搞定的
FATAL
conf.Configuration: error parsing conf file: com.sun.org.apache.xerces.internal.impl.io.MalformedByteSequenceException: Invalid byte 2 of 2-byte UTF-8 sequence.
这是因为你的配置文件中包括中文乱码,删除即可
Shuffle
Error:Exceeded MAX_FAILED_UNIQUE_FETCHES;bailing-out
有两种原因:hosts文件加入所有节点的机器名(我的就是这个问题)
两个原因就是系统允许打开的最大文件数有限制
vi /etc/security/limits.conf
增加*
soft nofile 102400 * hard nofile 409600
$cd
/etc/pam.d/ $sudo vi login添加 session required /lib/security/pam_limits.so
暂时就这两个问题遇到,如有持续更新
分享到:
相关推荐
hadoop0.20.2版本在虚拟机中的安装指南,经过测试可以实现
redHat linux下安装hadoop 0.20.2
hbase-0.90.5.tar.gz与hadoop0.20.2版本匹配,我在我本地虚拟机已经安装成功可以使用。请放心下载!!!
开源分布式架构Hadoop 0.20.2版的Java API文档,使用Hadoop都需要它
hadoop 0.20.2 可以正常解压,正常使用
伪分布式安装包,Hadoop 1.0指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop,内核主要由HDFS和MapReduce两个系统组成,其中,MapReduce是一个离线处理框架,由编程模型(新旧API)、运行时环境和数据...
hadoop使用sqoop-1.2.0-CDH3B4.tar.gz需要将此包的hadoop-core-0.20.2-CDH3B4拷贝到sqoop/lib目录下
文档中使用 Ubuntu Server 12.04 x64 + JDK 1.7.0 u5 + Hadoop 0.20.2 及 5 台虚拟机做为演示测试环境。希望能对大家带来帮助。本文档适合初学者,指引初学者或初次接触 Hadoop 的人成功安装 Hadoop ,使用代码执行...
hadoop 0.20.2 最新版 jar包 想下的下哈
Hadoop的API,版本是0.20.2,就是官网上自带的HTML版,非CHM文件。
Hadoop 0.20.2在linux下安装与配置
Ubuntu部署Hadoop0.20.2简要指南
Hadoop 0.20.2 API.chm英文版,期待翻译
hadoop0.20.2的eclipse3.3.2插件环境集合,包括hadoop0.20.2的eclipse3.3.2的插件,以及windows和linux下eclipse开发环境,还有帮助文档。
hadoop-0.20.2 这个是hadoop的老版本,如果正在初学hadoop的话,可以使用这个。我也正在用这个学习hadoop
hadoop0.20.2的eclipse3.3.2插件及开发环境帮助文档
hadoop-0.20.2的chm帮助文档
hadoop-0.20.2的安装配置,其他环境为JDK1.7.0_25,Ubuntu-12.04
hadoop 0.20.2-API,方便查询各种类及接口。
在Ubuntu10.04上分布式部署Hadoop0.20.2