Hadoop2.8.0+Zookeeper3.4.8+Hbase1.2.6完全分布式配置

古城微笑少年丶 2022-05-27 05:26 115阅读 0赞

*  准备环境

三台Ubuntu系统的电脑

同一局域网

Java1.8.0\_121

Hadoop2.8.0

Zookeeper3.4.8

Hbase1.2.6

大家可以自行取官网下载各工具的最新版本.

*  Hadoop完全分布配置

1.  安装JDK

解压java1.8.0\_121.tar.gz到/opt/jvm下,编辑 vim /etc/profile文件,添加jdk环境变量:

![20180412150924406][]

source /etc/profile命令使配置生效

java -version命令查看jdk环境变量是否配置成功

2.  配置所有机器的hostname和hosts

（1）三台机器均新建个hadoop用户用来专门进行hadoop大数据相关操作

（2）更改hostname，可以编辑 vim /etc/sysconfig/network    重启后生效。

（3）更改host，可以编辑 vim /etc/hosts，增加如下内容：  
　　　　　192.168.1.8    bigdata1   
       　　 　 192.168.1.7    bigdata2   
         　　　192.168.1.10     bigdata3  (我这里把bigdata3作为master)   
     　   hosts可以和hostname不一致 ，这里为了好记就写一致了。

3.  配置ssh免密登录

（1）输入命令，ssh-keygen -t rsa，生成key，一直按回车，  
　　  就会在~/.ssh生成：authorized\_keys   id\_rsa.pub   id\_rsa 三个文件，  
　　  这里要说的是，为了各个机器之间的免登陆，在每一台机器上都要进行此操作。  
（2）接下来，在bigdata3服务器，合并公钥到authorized\_keys文件，  
      　 进入/root/.ssh目录，输入以下命令  
　　   cat id\_rsa.pub>> authorized\_keys    把bigdata3公钥合并到authorized\_keys 中  
　　   ssh hadoop@192.168.1.7 cat ~/.ssh/id\_rsa.pub>> authorized\_keys      
　　   ssh hadoop@192.168.1.8 cat ~/.ssh/id\_rsa.pub>> authorized\_keys      
　　   把bigdata1、bigdata2公钥合并到authorized\_keys 中  
            完成之后输入命令，把authorized\_keys远程copy到bigdata1和bigdata2之中  
　　    scp authorized\_keys 192.168.1.7:/home/hadoop/.ssh/    
 　　   scp authorized\_keys 192.168.1.8:/home/hadoop/.ssh/  
　　　最好在每台机器上进行chmod 600  authorized\_keys操作，  
　　　使当前用户具有 authorized\_keys的读写权限。  
　　　拷贝完成后，在每台机器上进行 service sshd restart  操作， 重新启动ssh服务。  
　　　之后在每台机器输入 ssh 192.168.1.xx，测试能否无需输入密码连接另外两台机器。

4. 配置Hadoop环境变量，HADOOP\_HOME、hadoop-env.sh、yarn-env.sh。  
（1）配置HADOOP\_HOME，编辑  vim  /etc/profile 文件，添加如下内容：  
　　  export HADOOP\_HOME=/home/hadoop/hadoop-2.8.0 （Hadoop的安装路径）  
　　  export PATH=$PATH:$HADOOP\_HOME/sbin  
　　  export PATH=$PATH:$HADOOP\_HOME/bin　  
　　（以下两行最好加上，若没有启动Hadoop、hbase时都会有没加载lib成功的警告）　　　　  
　　   export HADOOP\_COMMON\_LIB\_NATIVE\_DIR=$HADOOP\_HOME/lib/native  
　　   export HADOOP\_OPTS="-Djava.library.path=$HADOOP\_HOME/lib/native"  
（2）配置hadoop-env.sh、yarn-env.sh，在Hadoop安装目录下  
　　  编辑  vim etc/hadoop/hadoop-env.sh    
　　  加入export JAVA\_HOME=/opt/jvm/jdk1.8.0\_121（jdk安装路径）  
　　  编辑  vim etc/hadoop/yarn-env.sh    
　　  加入export JAVA\_HOME=/opt/jvm/jdk1.8.0\_121（jdk安装路径）

保存退出

5. 配置基本相关xml，core-site.xml、hdfs-site.xml、mapred-site.xml、mapred-site.xml

（1）配置core-site.xml，在Hadoop安装目录下 编辑  vim etc/hadoop/core-site.xml

主要配置NameNode 的URI和hadoop临时文件的存放目录

![20180412154654243][]

（2）配置hdfs-site.xml，在Hadoop安装目录下 编辑  vim etc/hadoop/hdfs-site.xml

![20180412155048428][]

（3）配置mapred-site.xml，在Hadoop安装目录下 编辑  vim etc/hadoop/mapred-site.xml

![20180412155146696][]

（4）配置yarn-site.xml，在Hadoop安装目录下 编辑  vim etc/hadoop/yarn-site.xml

![20180412155312568][]

6.  配置slaves

在Hadoop安装目录下，编辑vim etc/hadoop/slaves，

去除默认的localhost，加入bigdata1、bigdata2，保存退出。

7.  通过远程复制命令scp，将配置好的Hadoop复制到各个节点对应位置

scp -r /home/hadoop/hadoop2.8.0 192.168.1.7:/home/hadoop/hadoop2.8.0

scp -r /home/hadoop/hadoop2.8.0 192.168.1.8:/home/hadoop/hadoop2.8.0

8.  Hadoop的启动与停止

(1) 在Master服务器启动hadoop，从节点会自动启动，进入Hadoop目录下，  
输入命令，bin/hdfs namenode -format进行hdfs格式化  
输入命令，sbin/start-all.sh，进行启动  
也可以分开启动，sbin/start-dfs.sh、sbin/start-yarn.sh  
在master 上输入命令：jps， 看到ResourceManager、NameNode、SecondaryNameNode进程  
在slave 上输入命令：jps， 看到DataNode、NodeManager进程

出现这5个进程就表示Hadoop启动成功。

在浏览器中输入http://bigdata3:50070查看bigdata3(master)状态,

输入http://bigdata3:8088查看集群状态

(2)  停止hadoop，进入Hadoop目录下，输入命令：sbin/stop-all.sh， 即可停止master和slave的Hadoop进程

*  zookeeper完全分布配置

(1) 解压下载好的zookeeper后,然后进入conf目录（将zoo\_sample.cfg修改为zoo.cfg）mv修改名称或者cp一个，老的作为样本

(2)vim zoo.cfg进行配置

tickTime=2000 心跳间隔  
initLimit=10 初始容忍的心跳数  
syncLimit=5 等待最大容忍的心跳数

dataDir=/home/hadoop/zookeeper-3.4.8/data 本地保存数据的目录，tmp存放的临时数据，可以修改为自己的目录；

dataLogDir=/home/hadoop/zookeeper-3.4.8/logs 日志保存的目录

clientPort=2181 客户端默认端口号

server.1=192.168.1.8:2888:3888  
server.2=192.168.1.7:2888:3888

server.3=192.168.1.10:2888:3888

(3)由于需要事先创建好data目录和logs，所以现在在zookeeper目录下创建data目录:

mkdir data

mkdir logs

然后在data目录创建一个文件myid，里面写一个3 (每台机器对应自己Ip的server.x中的x数字)

(4)然后将修改好的复制到bigdata1和bigdata2上面,记得修改myid中的数字

(5)至此Zookeeper搭建结束，下面开始启动Zookeeper,分别启动：  
如果你不想切换到Zookeeper目录启动，可以配置环境变量：  
vi /etc/profile(修改文件)  
export ZOOKEEPER\_HOME=/home/hadoop/zookeeper-3.4.8  
export PATH=PATH:ZOOKEEPER\_HOME/bin  
重新编译文件：  
source /etc/profile

注意：3台zookeeper都需要修改

(6)三台分别启动zookeeper,并查看状态

![20180412170047224][]

jps查看进程发现三台均多了个QuorumPeerMain进程

(7)关闭zk命令: bin/zkServer.sh stop

*  HBase分布式安装

(1)配置环境变量

编辑 vim /etc/profile  加入   
export  HBASE\_HOME=/home/hadoop/hbase-1.2.6   
export  PATH=$HBASE\_HOME/bin:$PATH

编辑vim /home/hadoop/hbase-1.2.6/conf/hbase-env.sh

export HBASE\_CLASSPATH=/home/hadoop/hbase-1.2.6/conf

export HBASE\_PID\_DIR=/home/hadoop/hbase-1.2.6/pids

export HBASE\_LOG\_DIR=$\{HBASE\_HOME\}/logs

export JAVA\_HOME=/opt/jvm/jdk1.8.0\_121/  
export HBASE\_HOME=/home/hadoop/hbase-1.2.6  
export HBASE\_LOG\_DIR=/home/hadoop/hbase-1.2.6/logs  
export PATH=$PATH:$HBASE\_HOME/bin  
export HBASE\_MANAGES\_ZK=false  
export HADOOP\_HOME=/home/hadoop/hadoop2.8.0

(2)配置hbase-site.xml文件

![20180412171247204][]

(3)配置regionservers

编辑 vim /hadoop/hbase-1.2.6/conf/regionservers   去掉默认的localhost，

加入bigdata1、bigdata2，保存退出

然后把在bigdata3上配置好的hbase，通过远程复制命令复制到bigdata1、bigdata2对应的位置

(4)启动与停止Hbase

在Hadoop已经启动成功的基础上，输入start-hbase.sh，过几秒钟便启动完成，  
输入jps命令查看进程是否启动成功，若 bigdata3上出现HMaster，

bigdata1,bigdata2上出现HRegionServer，就是启动成功了。

输入hbase shell 命令 进入hbase命令模式  
输入status命令可以看到如下内容，1个master，2 servers，3机器全部成功启动。

1 active master, 0 backup masters, 2 servers, 0 dead, 2.0000 average load

当要停止hbase时输入stop-hbase.sh，过几秒后hbase就会被停止了

*  至此配置完成啦!

启动顺序：hadoop-->zookeeper-->hbase  
关闭顺序：hbase-->zookeeper-->hadoop

[20180412150924406]: /images/20220527/e91a334b8fcf4788afbce7e74214b4c8.png
[20180412154654243]: /images/20220527/4cd666d1af6445518591c21005a6f6d2.png
[20180412155048428]: /images/20220527/4f870c2c6c224bfd809de516f5edf042.png
[20180412155146696]: /images/20220527/c0af5903ee554f7e83d35853cdaf08f6.png
[20180412155312568]: /images/20220527/4758d4b3c0674d5eb8851a7d9ef47a74.png
[20180412170047224]: /images/20220527/4f0621f122774df6b89b7dfd8cabd781.png
[20180412171247204]: /images/20220527/e7ac691d6d5744f3a19a24364d922b9d.png