hadoop集群常见的报错原因

亦凉 2022-06-04 05:11 362阅读 0赞

**Hadoop集群常见报错原因**

1）防火墙没关闭、或者没有启动yarn

INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

2）主机名称配置错误

3）ip地址配置错误

4）ssh没有配置好，主机之间无法无密登录，无法进行RPC通信

5）root用户和robot（个人用户）两个用户启动集群不统一，比如有时候在root用户下配置，用robot用户启动

6）配置文件修改不细心，配置文件出错。配置文件建议直接官网复制

7）未编译源码，默认hadoop官方只提供了32位的hadoop。有时候当做64位使用时，要编译使用。

Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

17/05/22 15:38:58 INFO client.RMProxy: Connecting to ResourceManager at hadoop108/192.168.10.108:8032

**8）datanode不被namenode识别问题**

Namenode在format初始化的时候会形成两个标识，blockPoolId和clusterId。新的datanode加入时，会获取这两个标识作为自己工作目录中的标识。

一旦namenode重新format后，namenode的身份标识已变，而datanode如果依然持有原来的id，就不会被namenode识别。

解决办法，删除datanode节点中的数据后，再次重新格式化namenode。

**9）不识别主机名称**

java.net.UnknownHostException: hadoop102: hadoop102

at java.net.InetAddress.getLocalHost(InetAddress.java:1475)

at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:146)

at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)

at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)

at java.security.AccessController.doPrivileged(Native Method)

at javax.security.auth.Subject.doAs(Subject.java:415)

解决办法：

（1）在/etc/hosts文件中添加192.168.1.102 hadoop102

（2）主机名称不要起hadoop hadoop000等特殊名称

10）执行命令 不生效，粘贴word中命令时，遇到-和长–没区分开。导致命令失效

解决办法：尽量不要粘贴word中代码。或者有时候window系统复制的文件，在unix系统使用时，以为编码不一样，也会报错。

11）jps发现进程已经没有，但是重新启动集群，提示进程已经开启。原因是在linux的根目录下/tmp目录中存在启动的进程临时文件，将集群相关进程删除掉，再重新启动集群。

**12.格式化namenode问题**

**datanode不被namenode识别的问题**

**namenode在format初始化的时候会形成两个标识：**

**blockPoolId：**

**clusterId：**

**新的datanode加入时，会获取这两个标识作为自己工作目录中的标识**

**一旦namenode重新format后，namenode的身份标识已变，而datanode如果依然**

**持有原来的id，就不会被namenode识别**

发表评论取消回复

表情：

评论列表（有 0 条评论，362人围观）

还没有评论，来说两句吧...

相关阅读

相关踩坑日志--redis集群常见报错与解决

文章目录前言一：报错1与解决 1.1：报错内容 1.2：问题解决二：报错2与解决 2.1

清疚/ 2023年05月28日 06:59/ 0 赞/ 158 阅读

相关使用rancher重建集群报错

将原有集群删除后，重新创建集群，rancher集群报错： Cluster health check failed: Failed to communicate wit

╰半橙微兮°/ 2022年11月09日 12:43/ 0 赞/ 735 阅读

相关 Hadoop-启动集群

文章目录启动集群 1. 自定义配置集群 2. 启动集群 3. 测试 4

ゝ一世哀愁。/ 2022年11月08日 11:29/ 0 赞/ 262 阅读

相关前端常见报错原因详解

1、xxx is not defined xxx 没有定义 2、xxx is not a function xxx 不是一个函数 xxx 此时是u

红太狼/ 2022年11月07日 13:21/ 0 赞/ 314 阅读

相关 hadoop集群常见的报错原因

Hadoop集群常见报错原因 1）防火墙没关闭、或者没有启动yarn INFO client.RMProxy: Connecting to ResourceManager

亦凉/ 2022年06月04日 05:11/ 0 赞/ 363 阅读

相关 JavaScript 调试常见报错以及原因

在程序开发中难免会遇到一些错误，在成千上万的代码中去寻找错误很明显相当于大海捞针，为此，每种计算机编程语言都要它独特的一套错误处理与调试机制。当然，JavaScript也不例外

忘是亡心i/ 2022年05月24日 20:40/ 0 赞/ 337 阅读

相关 hadoop集群启动常见异常

1、hadoop节点的本地工作目录访问异常（权限） 2、namenode处于安全模式，导致无法上传数据 namenode在刚刚启动的时候处于安全模式不一定是异常，但是如果启

小灰灰/ 2022年05月24日 11:24/ 0 赞/ 209 阅读

相关 hadoop集群设置

Hadoop Cluster Setup hadoop集群设置目的本文档描述了如何安装和配置Hadoop集群，范围从几个节点到具有数千个节点的超大集群。要

缺乏、安全感/ 2022年03月31日 06:30/ 0 赞/ 295 阅读

相关 PHP连接redis集群报错

如果在创建redis集群的时候，已经设置了requirepass密码，连接的时候却无处输入密码。代码 <?php $serv = [

你的名字/ 2022年01月20日 21:21/ 0 赞/ 606 阅读

相关 Hadoop 集群维护过程中遇到的报错信息和解决办法

1、Connection failed: \[Errno 111\] Connection refused to XXX:16030 在ambari上启动某台主机

朴灿烈づ我的快乐病毒、/ 2021年09月28日 17:20/ 0 赞/ 522 阅读