hadoop学习笔记之hadoop集群搭建详细步骤

矫情吗；* 2022-06-01 08:50 345阅读 0赞

本次集群的搭建是在之前的伪分布集群的基础上实现的，如果没有搭建好伪分布集群，可参看之前的详细教程：

[hadoop学习笔记之hadoop伪分布集群搭建（一）][hadoop_hadoop]

[hadoop学习笔记之hadoop伪分布集群搭建（二）][hadoop_hadoop 1]

[hadoop学习笔记之hadoop伪分布集群搭建（三）][hadoop_hadoop 2]

[hadoop学习笔记之hadoop伪分布集群搭建（四）][hadoop_hadoop 3]

[hadoop学习笔记之hadoop伪分布集群搭建（五）][hadoop_hadoop 4]

如果按照以上的步骤成功搭建了hadoop伪分布集群，那么实现真正的集群搭建就很简单了。本次是在虚拟机下搭建了1个NameNode节点和3个DataNode节点的集群（NameNode节点也作为一个DataNode节点）。

\----------------------------------------------------------------------------------------------------

**hadoop集群搭建**

1、克隆之前搭建好的伪分布集群系统，创建另外两个节点作为DataNode节点work02、work03（或者按照同样的步骤单独创建也可以）。

2、配置IP地址

按照之前的配置方式配置即可（注意，要使三台机器在同一个网段里）。

将work01机器的IP地址配置为192.168.26.101

将work02机器的IP地址配置为192.168.26.102

将work03机器的IP地址配置为192.168.26.103

3、修改机器名

利用命令sudo vi /etc/sysconfig/network

work02机器修改为work02

![20180125144336233][]

将work03机器修改为work03

![20180125144408786][]

4、配置相应的IP地址映射

使用命令sudo vi /etc/hosts

在work01、work02、work03上均配置如下内容

![20180125144541614][]

4、配置ssh免密登录（关键步骤）

（1）首先利用命令ssh-keygen -t rsa 在每台机器上生成密钥对（work01已经有了，就不要再生成了），如果是克隆的系统，这时候生成会提示已经存在，直接覆盖即可

（2）然后利用命令 cat id\_rsa.pub >> authorized\_keys 将各自对应的密钥公钥添加到自己的authorized\_keys中（详细步骤可参看之间的教程）

（3）最后将其他机器的id\_rsa.pub也添加到当前的authorized\_keys中

完成以上步骤后，每台机器的authorized\_keys的内容大致如下：

![20180125144954409][]

配置完成后，可以work01机器上使用命令 ssh work02 远程登录work02机器，使用exit退出登录。如果不需要密码登录成功，这说明ssh免密登录成功

5、修改相关配置文件

（1）hdfs-site.xml文件

将其内容修改为3，我们之前伪分布集群配置的是1。现在我们有三台DataNode节点，这时候就可以设置副本数为3了。

<configuration>
      <property>
        <value>dfs.replication</value>
        <name>3</name>
      </property>
    </configuration>

![20180125145314419][]

（2）slaves文件

在该文件中添加另外两个DataNode机器名，之前伪分布只添加了work01（为防止出错，每台机器都修改吧）

![20180125145433255][]

（3）其他文件保持和work01的配置相同即可。

6、找到每天机器上配置的hadoop.tmp.dir路径下的data文件夹，将其删除。我这里是/home/hadoop/app/hadoop-2.4.1/data

然后使用命令hadoop namenode -format初始化集群

\---------------------------------------------------------------------------------------------------------------------

至此，hadoop集群已经配置成功，可以使用命令start-dfs.sh和start-yarn.sh启动集群，或者start-all.sh启动也可以（不推荐）。

启动完毕，可以通过以下方式查看集群是否启动成功

**1、查看启动的进程**

在NameNode节点机器上（work01）,可以看到如下进程

![20180125145859525][]

而DataNode节点机器上（work02、work03），可以看到如下进程

![20180125145939941][]

![20180125145954725][]

**2、通过web服务查看**

浏览器输入http://work01:50070

查看DataNode节点个数

![20180125150104765][]

还可以查看详细的DataNode节点信息

![20180125150132156][]

===========================================================

**可能会出现DataNode启动不了的问题**

原因可能是NameNode和DataNode的clusterID不一致，造成不一致的原因可能是多次使用hadoop namenode -format 。因为每次初始化的时候，NameNode都会重新生成clusterID，而DataNode却只是在最初的时候生成，之后便不再更新

**解决办法1**：找到NameNode和DataNode的dfs.tmp.dir配置的data路径，里面有一个VERSION文件，将DataNode的ClusterID手动修改为NameNode的VERSION中的ClusterID即可

![20180125150335723][]

**解决办法2：**如果上面的办法还是无法启动DataNode，就直接将每台机器的 /home/hadoop/app/hadopp-2.4.1/data目录的data删除，重新使用命令hadoop namenode -format初始化，然后再次启动集群即可。

[hadoop_hadoop]: http://blog.csdn.net/YF_Li123/article/details/79100701
[hadoop_hadoop 1]: http://blog.csdn.net/YF_Li123/article/details/79101032
[hadoop_hadoop 2]: http://blog.csdn.net/YF_Li123/article/details/79105395
[hadoop_hadoop 3]: http://blog.csdn.net/YF_Li123/article/details/79106194
[hadoop_hadoop 4]: http://blog.csdn.net/YF_Li123/article/details/79108321
[20180125144336233]: /images/20220601/9ab40ec573d64ab989f4426221d9c095.png
[20180125144408786]: /images/20220601/d829d7b39efb413bb5b7c1291245ee8a.png
[20180125144541614]: /images/20220601/72c93f771542462cbcc20623c455965f.png
[20180125144954409]: /images/20220601/471c99d2ee584566b185cd1a7389e3e4.png
[20180125145314419]: /images/20220601/d6665dfe94fd46f6bbfa340723df2fa6.png
[20180125145433255]: /images/20220601/eeccf971fb1b4d6f8e991f14076420b3.png
[20180125145859525]: /images/20220601/eef86e6b5aaa431b83e2b64469023bd4.png
[20180125145939941]: /images/20220601/29b2851a277f4a19a14eaf4f81ad0304.png
[20180125145954725]: /images/20220601/e2cfc26fa85e4f968300caed7b6273cf.png
[20180125150104765]: /images/20220601/666a7f2e54dd43cf95cb332d9a999902.png
[20180125150132156]: /images/20220601/78a494bc2de14ef5ac5f1eaf3c58c267.png
[20180125150335723]: /images/20220601/538fa81f6d0c4c6fbbac0be61b43e06f.png

发表评论取消回复

表情：

评论列表（有 0 条评论，345人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop集群搭建（超级详细）

感谢评论区大佬们指出文章中的一些错误，已经进行修改。如果还存在其他错误，希望大佬们指出！需要的安装包：[jdk-8u162-linux-x64.tar.gz][]（提取码

桃扇骨/ 2024年04月07日 12:19/ 0 赞/ 71 阅读

相关学习Hadoop（一）——搭建hadoop集群

最近开始学习大数据的相关知识，要学习大数据就不得不提到Hadoop。一般来说学习一门新的知识，很多都是先理论再实践 ![在这里插入图片描述][5c006fb330b4

蔚落/ 2024年03月31日 11:25/ 0 赞/ 86 阅读

相关 Hadoop 分布式集群搭建步骤

实现各个节点间的免密登录 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6L

我就是我/ 2023年10月07日 10:33/ 0 赞/ 26 阅读

相关 hadoop学习笔记之hadoop集群搭建详细步骤

本次集群的搭建是在之前的伪分布集群的基础上实现的，如果没有搭建好伪分布集群，可参看之前的详细教程： [hadoop学习笔记之hadoop伪分布集群搭建（一）][hadoop_

矫情吗；*/ 2022年06月01日 08:50/ 0 赞/ 346 阅读

相关 hadoop学习笔记之hadoop伪分布集群搭建（五）

本次hadoop伪分布搭建环境：Windows10\_64位+VMware9.0+Centos 6.4（32位）默认以上环境已经配置好，下面开始进行hadoop伪分布集

冷不防/ 2022年06月01日 04:19/ 0 赞/ 222 阅读

相关 hadoop学习笔记之hadoop伪分布集群搭建（四）

本次hadoop伪分布搭建环境：Windows10\_64位+VMware9.0+Centos 6.4（32位）默认以上环境已经配置好，下面开始进行hadoop伪分布集群

缺乏、安全感/ 2022年06月01日 04:06/ 0 赞/ 235 阅读

相关 hadoop学习笔记之hadoop伪分布集群搭建（三）

本次hadoop伪分布搭建环境：Windows10\_64位+VMware9.0+Centos 6.4（32位）默认以上环境已经配置好，下面开始进行hadoop伪分布集群安

桃扇骨/ 2022年06月01日 03:56/ 0 赞/ 237 阅读

相关 hadoop学习笔记之hadoop伪分布集群搭建（二）

本次hadoop伪分布搭建环境：Windows10\_64位+VMware9.0+Centos 6.4（32位）默认以上环境已经配置好，下面开始进行hadoop伪分布集群安

古城微笑少年丶/ 2022年06月01日 03:39/ 0 赞/ 285 阅读

相关 hadoop学习笔记之hadoop伪分布集群搭建（一）

本次hadoop伪分布搭建环境：Windows10\_64位+VMware9.0+Centos 6.4（32位）默认以上环境已经配置好，下面开始进行hadoop伪分布集群安

一时失言乱红尘/ 2022年06月01日 03:37/ 0 赞/ 250 阅读

相关 Hadoop集群搭建详细步骤

一套大数据视频断断续续都看了三遍了，有半年了，有时候真的看不下去，有时候看的人打瞌睡，有时候几天都不想看但还是咬着牙看。最近无意中看了一部电视剧《孔子》，然后又在知乎上

小咪咪/ 2022年01月21日 02:45/ 0 赞/ 292 阅读