全分布式模式搭建

超、凢脫俗 2023-06-27 12:40 65阅读 0赞

![format_png][]

全分布式模式，主要是在实际环境中用到的比较多，所以小编还是将使用虚拟机来模拟环境来搭建环境。对与学习而已，伪分布式模式环境就可以满足，大家可以参考《[Hadoop-伪分布式模式搭建][Hadoop-]》这篇文章搭建就可以了。

在搭建环境前，需要先关闭防火墙。由于JDK环境的搭建与前面都是一样，所以小编就不在这里啰嗦，直接从Hadoop文件配置开始写步骤。

小编的环境：

主机名和IP

192.168.184.12 bigdata12

192.168.184.13 bigdata13

192.168.184.14 bigdata14

**1.设置hadoop\_env.sh**

\# The java implementation to use.

\#export JAVA\_HOME=$\{JAVA\_HOME\}

export JAVA\_HOME=/root/training/jdk1.8.0\_144

![format_png 1][]

**2.设置hdfs-site.xml**

<name>dfs.replication</name>

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

**3.设置core-site.xml**

<name>fs.defaultFS</name>

<value>hdfs://bigdata12:9000</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/root/training/hadoop-2.7.3/tmp</value>

</property>

**4.设置mapred-site.xml**

<name>mapreduce.framework.name</name>

</property>

**5.设置yarn-site.xml**

<name>yarn.resourcemanager.hostname</name>

<value>bigdata12</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce\_shuffle</value>

</property>

**6.设置slavers（配置的是全部的从节点）**

bigdata13

bigdata14

**7.格式化NameNode： **

hdfsnamenode -format

配置完上面的步骤后，将Hadoop文件目录直接复制到bigdata13和bigdata14上。

**8.启动Hadoop集群（在主节点上）:**

start-all.sh

![format_png 2][]

**9、验证**

（\*）命令行：hdfsdfsadmin -report

（\*）网页：HDFS：http://192.168.184.12:50070/

Yarn：http://192.168.184.12:8088

上述步骤为全分布式环境的搭建，由于后续学习过程中，不使用全分布式模式，所以只提供一个搭建环境的文章，后续在工作中，如遇到问题，可以与小编一起探讨。

[format_png]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9veEFIZXdhTDJyaWFoenFhUXpBYjZEeFZiWjJ5REpqdDZFVnZKdzhpYWFOb1F1UVJNTlRBQkh3NXZDaWIwTDhkUk5vek1MUkZpYWp0QU1sbHgyMEU1aWExczF3LzY0MA?x-oss-process=image/format,png
[Hadoop-]: http://mp.weixin.qq.com/s?__biz=MzA4MjQ0ODEzMA%3D%3D&chksm=9f84d95fa8f350492522774d9cf87a0ef50b87cbfd212d1cef53159e529ee479edae7a82ff19&idx=1&mid=2247484210&scene=21&sn=d72c36c107bbfc8aa13d325b789dee45#wechat_redirect
[format_png 1]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9veEFIZXdhTDJyaWE2cVM0VVlxd3daMkpIMzZNWXJBck9pY01UWGNvYlUwd0V3RUxPWWliVjlKaGxZV0V6N2liUnUxQ2ljMnNpYTlOdTcyZUZvQ3ZtRmJoSlZ2Zy82NDA?x-oss-process=image/format,png
[format_png 2]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X3BuZy9veEFIZXdhTDJyaWE2cVM0VVlxd3daMkpIMzZNWXJBck85VGZiTm9ibmFURGJzTzEzbW9CNExpY25UWVVQUWxTNDFIWGRZRnVUMWxCR01LWTJXdnVRc0xRLzY0MA?x-oss-process=image/format,png