Hadoop集群配置

桃扇骨 2022-08-07 05:35 253阅读 0赞

1.在进行Hadoop集群配置中，需要在/etc/hosts文件中添加集群中所有机器的IP与主机名，这样Master与所有的Slave机器之间不仅可以通过IP进行通信，还可以通过主机名进行通信。

2.配置SSH无密码认证。

Hadoop运行过程中需要管理远端Hadoop守护进程，在Hadoop启动以后，NameNode通过SSH来启动和停止各个DataNode上的各种守护进程的。这就必须在节点之间执行指令的时候是不需要输入密码的形式，我们需要配置SSH运行无密码公钥认证的形式。这样NameNode和DataNode之间可以SSH无密码登陆。

SSH无密码认证需要两个服务：ssh和rsync。

SSH无密码原理

Master（NameNode | JobTracker）作为客户端，要实现无密码公钥认证，连接到服务器Salve（DataNode | Tasktracker）上时，需要在Master上生成一个密钥对，包括一个公钥和一个私钥，而后将公钥复制到所有的Slave上。当Master通过SSH连接Salve时，Salve就会生成一个随机数并用Master的公钥对随机数进行加密，并发送给Master。Master收到加密数之后再用私钥解密，并将解密数回传给Slave，Slave确认解密数无误之后就允许Master进行连接了。这就是一个公钥认证过程，其间不需要用户手工输入密码。重要过程是将客户端Master复制到Slave上。

过程：

1.在master节点上执行：

ssh-keygen  -t  rsa  -P  ' '              \#生成无密码密钥对

2.在master节点上把id\_rsa.pub追加到授权的key里去

cat  ~/.ssh/id\_rsa.pub  >>  ~/.ssh/authorized\_keys

3.验证前，(1)修改文件authorized\_keys的权限。

chmod  600 ~/.ssh/authorized\_keys

备注：如果不进行设置，在验证时，扔提示你输入密码。

(2)用root用户设置/etc/ssh/sshd\_config的内容，使其无密码登录有效。

RSAAuthentication yes \# 启用 RSA 认证

PubkeyAuthentication yes \# 启用公钥私钥配对认证方式

AuthorizedKeysFile .ssh/authorized\_keys \# 公钥文件路径（和上面生成的文件同）

设置完后重启SSH服务，service sshd  restart 。

查看SSH版本，ssh -V

3.Hadoop配置

(1)hadoop2.x没有mapred-site.xml，只有mapred-site.xml.template，用户需要复制一份模板。

(2)masters，尽量使用IP。hadoop2.x没有masters文件。

(3)slaves ,配置datanode机器，只有namenode特有。

(4)tmp文件夹权限必须是当前用户。

(5)hadoop2.6.0默认为64位环境，运行在32位机器上会出现一些警告。不影响结果。

hdfs文件系统格式化  hdfs namenode -format

hadoop2.x之后使用ResourceManager和NodeManager代替了JobTracker和TaskTracker。

查看ResourceManager，http://master:8088

查看NameNode,http://master:50070

Yarn配置

1.yarn-env.sh

export    JAVA\_HOME=

常见问题：

1.Namenode没有正常启动。

50070等端口被占。关闭浏览器等。

2.Datanode 没有正常启动。

清空hadoop.tmp.dir目录。

3.

发表评论取消回复

表情：

评论列表（有 0 条评论，253人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop集群配置安装

装包资料链接: https://pan.baidu.com/s/1YFbBJNesfhl0eBZ9B3pwKw 提取码: rmba 安装准备 \[root@tan...

蔚落/ 2024年04月18日 07:13/ 0 赞/ 102 阅读

相关 Hadoop集群配置

> 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录配置Hadoop集群一、在master虚拟机上配置hadoop

比眉伴天荒/ 2024年03月30日 08:55/ 0 赞/ 98 阅读

相关 Hadoop集群配置

一：集群部署规划注意： ➢ NameNode和SecondaryNameNode不要安装在同一台服务器 ➢ ResourceManager也很消耗内存，不要和Nam

r囧r小猫/ 2023年09月28日 04:30/ 0 赞/ 25 阅读

相关 hadoop集群配置

1、安装3个虚拟机，主机名修改为 192.168.2.131 master 、192.168.2.130 slave1 、192.168.2.132 slave2

比眉伴天荒/ 2023年05月28日 06:46/ 0 赞/ 32 阅读

相关 Hadoop集群安装配置

1、集群部署介绍 1.1 Hadoop简介 ![201205161427003307.png][]　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平

落日映苍穹つ/ 2022年09月17日 05:28/ 0 赞/ 413 阅读

相关 hadoop实践（三）hadoop 集群配置

第一步：集群规划 master 192.168.136.140 slave1 192.168.136.151 slave2 192.168.136.152

╰+攻爆jí腚メ/ 2022年08月23日 08:45/ 0 赞/ 17 阅读

相关 Hadoop集群安装与配置

转载自[Hadoop集群安装配置教程\_Hadoop2.6.0\_Ubuntu/CentOS][Hadoop_Hadoop2.6.0_Ubuntu_CentOS] 本教程讲述

淡淡的烟草味﹌/ 2022年08月21日 00:18/ 0 赞/ 258 阅读

相关 Hadoop集群配置

1.在进行Hadoop集群配置中，需要在/etc/hosts文件中添加集群中所有机器的IP与主机名，这样Master与所有的Slave机器之间不仅可以通过IP进行通信，还可以通

桃扇骨/ 2022年08月07日 05:35/ 0 赞/ 254 阅读

相关 Hadoop集群时间同步配置

Hadoop集群时间同步配置 1.时间服务器配置（必须root用户） 1.1检查ntp是否安装 1.2修改ntp配置文件 1

痛定思痛。/ 2022年04月05日 04:12/ 0 赞/ 425 阅读

相关 Hadoop 集群配置

文章目录集群部署规划配置核心配置文件 hdfs 配置文件 hadoo

爱被打了一巴掌/ 2022年02月25日 01:26/ 0 赞/ 309 阅读