Hadoop集群搭建

本是古典何须时尚 2022-05-27 03:10 311阅读 0赞

前言：搭建hadoop集群的博文很多，不能总是每次搭建时都花时间搜索一篇适合自己机器、文章简练清晰的教程，笔者也是描述自己搭建Hadoop集群的详细过程，以备日后使用。

一、准备及所需环境

Centos 6.5（目前大多数生产环境使用的较稳定版本）

JDK 1.8.x

Vmvare Workstation

二、开始搭建

一般分布式集群都有多种搭建模式，Hadoop搭建的四种模式说明 ：

本地模式：只是用于本地开发调试

伪分布模式：同一台机器上各个进程上运行Hadoop的各个模块，各个模块是在各个进程上分开运行，但在一台机器。

完全分布式模式：生产环境采用的模式，Hadoop运行在服务器集群上，企业会做HA，以实现高可用。

Hadoop HA：HA是指高可用，解决Hadoop单点故障问题。

本地模式和伪分布模式都不适用于新手体验分布式的特点，没有太大意义，HA是企业级操作，遂本文以搭建完全分布式。

三台虚拟机分别为：

master：192.168.163.145

worker1:192.168.163.146

worker2:192.168.163.147

在这之前我们在Vmware中，点击编辑中虚拟机网络配置，查看NAT设置，记住子网IP和子网掩码，以及网关IP，会在配置网络时用到。

![70][]

1.现在创建第一台虚拟机：

![70 1][]

建议安装新建一个安装目录，并把每台虚拟机单独放在一个文件里，类似这样，不然所有虚拟机磁盘文件混在一起，非常乱。

![70 2][]

2.安装一路下一步，可能会要求你创建一个用户，这里我们先创建一个hadoop用户，密码自设，完成后打开虚拟机，这时候网络应该是不通的。由于我们选用的是NAT模式，可以共享宿主机的网络，但如果虚拟机网络设置为DHCP的话，IP会有租期，时间一到，DHCP会重新给你分配IP，这样就后期配的所有环境带来很大麻烦，所以我们设置为固定IP。

刚才记住的网关，子网掩码，以及DNS都配置上去， Address填写你自己网段下的没使用过的ip，我这里使用192.168.163.145

![70 3][]

配置完成后，可以打开火狐浏览器看是否连上外网，也可命令行ping www.baidu.com

![70 4][]

成功，至此网络配置结束。

3.修改Hostname及配置Hosts

两种方式：

临时修改hostname: hostname master,这种方式重启就会失效，不建议。

![70 5][]

永久修改：\#vim /etc/sysconfig/network

![70 6][]

配置 \#vim /etc/hosts

另外两台机器虽然还没有创建，但在这直接配置好。

![70 7][]

4.关闭防火墙

查看防火墙状态。

\# service iptables status

临时关闭：\# service iptables stop

永久关闭：\# chkconfig iptables off（建议），重启生效

禁用掉selinux

\# vim /etc/sysconfig/selinux

![70 8][]

reboot，查看防火墙状态

![70 9][]

5.安装JDK

首先为了大家linux环境下权限以及文件目录的整洁，建议大家以root用户在根目录下创建app目录并将所有权限赋给hadoop用户。

![70 10][]

切回hadoop身份，下载好Oracle的jdk 1.8.x版本，传入虚拟机/app下

为了方便下面将开始使用xshell 5 连接 master进行操作

![70 11][]

\#tar -xzvf jdk1.8.0\_141.tar.gz

添加到环境变量 \#vim ~/etc/bash\_profile

JAVA\_HOME=/app/java/jdk1.8.0\_141

PATH=$PATH:$HOME/bin:$JAVA\_HOME/bin

保存退出 \# source ~/.bash\_profile

查看\#java -version

![70 12][]

为了方便，给hadoop增加sudo权限

\#chmod u+w /etc/sudoers

![70 13][]

![70 14][]

6.克隆其他两个节点

右键克隆，创建完整克隆，新建文件夹worker1、worker2

![70 15][]

打开worker1、worker2

依次改变ip 192.168.163.146、147

![70 16][]

由于克隆将第一台机器的mac地址也保留了下来，所以将Auth eth1的mac地址复制到system eth0中的mac地址里，重启网卡

配置Hostname及hosts

worker1 、worker2 方法同上

7.安装Hadoop

在第一台机器上安装，hadoop官网下载hadoop2.7.0，如果下载过慢，可以选择国内的服务器，如清华大学镜像、中国科学技术大学镜像，阿里云，163等。

配置 hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA\_HOME参数，不配置hadoop找不到。

$ vim $HADOOP\_HOME/etc/hadoop/hadoop-env.sh，配置JAVA\_HOME,运行\#which hadoop

![70 17][]

进入hadoop配置文件

配置core-site.xml

<configuration>  
<property>  
    <name>fs.defaultFS</name>  
    <value>hdfs://master:8020</value>  
</property>  
</configuration>

配置hdfs-site.xml

<configuration>  
<property>  
<name>dfs.name.dir</name>  
<value>/data/hadoop/hdfs/namenode</value>  
</property>  
<property>  
<name>dfs.data.dir</name>  
<value>/data/hadoop/hdfs/data</value>  
</property>  
 <property>  
       <name>dfs.namenode.checkpoint.dir</name>  
       <value>/data/hadoop/hdfs/namesecondary</value>  
</property>                          
<property>  
<name>dfs.replication</name>  
<value>1</value>  
</property>  
<property>  
<name>dfs.block.size</name>  
<value>67108864</value>  
</property>  
</configuration>

配置yarn-site.xml

<configuration>  
<property>  
    <name>yarn.resourcemanager.address</name>  
    <value>master:8032</value>  
  </property>  
  <property>  
    <name>yarn.resourcemanager.scheduler.address</name>  
    <value>master:8030</value>  
  </property>  
  <property>  
    <name>yarn.resourcemanager.webapp.address</name>  
    <value>master:8088</value>  
  </property>  
  <property>  
    <name>yarn.resourcemanager.resource-tracker.address</name>  
    <value>master:8031</value>  
  </property>  
  <property>  
    <name>yarn.resourcemanager.admin.address</name>  
    <value>master:8033</value>  
  </property>  
  <property>  
    <name>yarn.nodemanager.localizer.address</name>  
    <value>0.0.0.0:8040</value>  
  </property>  
  <property>  
    <name>yarn.nodemanager.webapp.address</name>  
    <value>0.0.0.0:8042</value>  
  </property>  
  <property>  
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce\_shuffle</value>  
  </property>  
  <property>  
    <name>yarn.nodemanager.aux-services.mapreduce\_shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>  
  </property>  
  <property>  
    <name>yarn.nodemanager.local-dirs</name>  
    <value>/data/hadoop/data/yarn/local</value>  
  </property>  
  <property>  
    <name>yarn.nodemanager.log-dirs</name>  
    <value>/data/hadoop/data/yarn/log/userlogs</value>  
  </property>  
  <property>  
    <name>yarn.scheduler.minimum-allocation-mb</name>  
    <value>256</value>  
  </property>  
  <property>  
    <name>yarn.scheduler.maximum-allocation-mb</name>  
    <value>1024</value>  
  </property>  
  <property>  
    <name>yarn.scheduler.minimum-allocation-vcores</name>  
    <value>1</value>  
  </property>  
  <property>  
    <name>yarn.scheduler.maximum-allocation-vcores</name>  
    <value>2</value>  
  </property>  
  <property>  
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <value>1024</value>  
  </property>  
  <property>  
    <name>yarn.nodemanager.resource.cpu-vcores</name>  
    <value>2</value>  
  </property>  
  <property>  
    <name>yarn.app.mapreduce.am.resource.mb</name>  
      <value>512</value>  
        <description>The amount of memory the MR AppMaster needs.</description>  
        </property>

</configuration>

配置slaves集群

![70 18][]

至此hadoop配置基本完成，接下来要三台机器需要通信，配置ssh

8.配置SSH通信

首先每一台机器上生成自己的公钥

$ ssh-keygen -t rsa ，一直回车，全部默认，到当前hadoop用户下的.ssh文件夹里查看

![70 19][]

在worker1和worker2分别运行

scp ~/.ssh/id\_rsa.pub hadoop@master:~/.ssh/id\_rsa.pub1

scp ~/.ssh/id\_rsa.pub hadoop@master:~/.ssh/id\_rsa.pub2

然后在master节点上运行

cat ~/.ssh/id\_rsa.pub >> ~/.ssh/authorized\_keys

cat ~/.ssh/id\_rsa.pub1 >> ~/.ssh/authorized\_keys

cat ~/.ssh/id\_rsa.pub2 >> ~/.ssh/authorized\_keys

然后将authorized\_keys分发到worker1和worker2

chmod 600 authorized\_key

scp ~/.ssh/authorized\_keys hadoop@worker1:~/.ssh/authorized\_keys

scp ~/.ssh/authorized\_keys hadoop@worker2:~/.ssh/authorized\_keys

![70 20][]

至此ssh通信配置完成。

创建hadoop的临时目录,三台机器均做。

$sudo  -p mkdir /data/hadoop

同时给目录的所有者赋给hadoop用户，这部很重要，不然hadoop在格式化创建临时目录时会有权限问题

$sudo chown -R hadoop:hadoop /data

8.启动并验证

$hdfs namenode -format

![70 21][]

不能有报错信息，且输出了namenode的临时文件以及一些文件信息。

启动hadoop集群

$ cd $HADOOP\_HOME/sbin

你可以使用 $hadoop-daemon.sh start namenode

$hadoop-daemon.sh start datanode

或者           $start-dfs.sh

这里有可能会遇到问题

![70 22][]

这是因为ssh连接检查出现了问题，也可以忽略不管，也可以$vim /etc/ssh/ssh\_config

将GSSAPIAuthentication yes  改为 no

结束进程stop-dfs.sh重新启动

$jps 查看进程

![70 23][]

![70 24][]

![70 25][]

$start-yarn.sh 启动yarn进程，查看进程

![70 26][]

![70 27][]

![70 28][]

你也可以使用已经不建议使用的start-all.sh 和 stop-all.sh 一劳永逸。

至此hadoop集群启动完成，我们可以测试一下hdfs能否使用

$hdfs dfs -mkdir /user/guoyg

$hdfs dfs -ls /

$echo "hadoop,spark,scala,java" >>test

$hdfs dfs -put test.txt /user/guoyg/

$hdfs dfs -ls /user/guoyg

![70 29][]

打开浏览器，linux和宿主机都可以，输入master节点的50070端口 ：192.168.163.145:50070可看到如下：

![70 30][]

![70 31][]

查看192.168.163.145:8088应用程序管理界面

![70 32][]

运行hadoop自带的exmaple计算圆周率。

$hadoop jar $\{HADOOP\_HOME\}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3 jar pi 5 5

![70 33][]

![70 34][]

结果为3.680000000000000000

至此hadoop完全分布式配置完成。

[70]: /images/20220527/6127196ab3b54d3a99f14a2706fa8e1c.png
[70 1]: /images/20220527/c89365ededb148b5aad39e1cc205aa46.png
[70 2]: /images/20220527/cbb4e5af14444f259615ddf2cd4c16f1.png
[70 3]: /images/20220527/bc8e60dd1f174df9a7ccc9572dc5c876.png
[70 4]: /images/20220527/9cdd08057b604825915c4eea02185a0d.png
[70 5]: /images/20220527/c80b7fba732b4e93a618d64b15d5125f.png
[70 6]: /images/20220527/1128b6e394fe465f83dc000f0d3b7072.png
[70 7]: /images/20220527/40e6116c5c1b4bd4b5fa0b5372616073.png
[70 8]: /images/20220527/05fd6a7822b844beac64eb31ba46ec85.png
[70 9]: /images/20220527/6ad9ec6660cb46fe91d343c6a4828635.png
[70 10]: /images/20220527/39540a2d03c141ba935dc983e4d35924.png
[70 11]: /images/20220527/c9b8d014c9304bec96f68c6c07a585bf.png
[70 12]: /images/20220527/2452c559c8c841c18d9c30db8a9dbbb3.png
[70 13]: /images/20220527/a78f84963e8c4d5ca1b545f3db2f44fe.png
[70 14]: /images/20220527/3fcb33693112408aa36a3a3d12d7ced9.png
[70 15]: /images/20220527/f0bdc35b5f0b4ef680208d3574020677.png
[70 16]: /images/20220527/6d5ca4d80cdc44fb8dfc7e6e35c0bfb1.png
[70 17]: /images/20220527/0c9381ed26ea418cad941f22ee1a2033.png
[70 18]: /images/20220527/811b919c625d4fbf98e23e682f0e6350.png
[70 19]: /images/20220527/2cdb5184ae2949749e03ef4e7ce1886e.png
[70 20]: /images/20220527/bdffcdc9165d4a79b1271f566d49718f.png
[70 21]: /images/20220527/14935ca11b0841e5ab9ce692dae555ba.png
[70 22]: /images/20220527/010d2190925a4423ade44852858c5b79.png
[70 23]: /images/20220527/4b8250b1813d45c185c04bab5fb483f7.png
[70 24]: /images/20220527/bf3a2e5192b043578cfbb0fdfaf453bf.png
[70 25]: /images/20220527/bd8342d8467d4432a6916b0ece2e52ef.png
[70 26]: /images/20220527/9a20b90b5ccb4350a2f66c0e604758dc.png
[70 27]: /images/20220527/365d440952d04847a639dc26926aa539.png
[70 28]: /images/20220527/56b80dd24e384f729acd7f23f44abb0d.png
[70 29]: /images/20220527/797cf73744c94c63a8da658a091610ef.png
[70 30]: /images/20220527/f50ad67dff39435aa6f414d78fe75966.png
[70 31]: /images/20220527/b93e4b292d474ec5b1b30ed5d7c991a1.png
[70 32]: /images/20220527/48b7a7c3769546bba679a61d5a1f1cdc.png
[70 33]: /images/20220527/fdba4c98ec1346348dde0be34307a286.png
[70 34]: /images/20220527/4e30f62c786c47fc9b7dd564526dbc45.png