四、Hadoop HA高可用集群搭建—第四步：安装配置Hadoop

矫情吗；* 2021-11-09 07:02 295阅读 0赞

一、hadoop安装

1、在master机器上，解压到/home/hadoop/目录下

tar -zxcf hadoop-2.6.5.tar.gz -C /usr/softwares/

2、在hadoop-2.7.3文件夹里面先创建文件夹

mkdir -p hadoop-2.7.3/data/name
    mkdir -p hadoop-2.7.3/data/data
    mkdir -p hadoop-2.7.3/data/tmp
    mkdir -p hadoop-2.7.3/data/edits_share
    mkdir -p hadoop-2.7.3/data/journal

二、配置

1、hadoop-env.sh文件

sudo vim hadoop-env.sh
    Export JAVA_HOME=/usr/softwares/jdk1.8.0_191

2、yarn-env.sh文件

将其中的JAVA_HOME修改为本机JAVA_HOME路径(先把这一行的#去掉)
    export JAVA_HOME=/usr/softwares/jdk1.8.0_191

3、 core-site.xml文件

<configuration>
      
     <property>
        <name>fs.defaultFS</name>
        <value>hdfs://masters</value>
      </property>
      
    <property>
       <name>hadoop.tmp.dir</name>
       <value>file:///usr/softwares/hadoop-2.7.3/data/tmp</value>
       <description>A base for other temporary directories.</description>
     </property>
     
      <property>
        <name>ha.zookeeper.quorum</name>
        <value>192.168.199.131:2181,192.168.199.132:2181,192.168.199.134:2181</value>
      </property> 
      <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
       </property>
       - <property>
      <name>dfs.journalnode.edits.dir</name> 
      <value>/usr/hadoop-2.7.3/data/journal</value> 
      </property>
    </configuration>

4、hdfs-site.xml 文件

<configuration>
        <property>
            <name>dfs.nameservices</name>
            <value>masters</value>
        </property>
        <property>
            <name>dfs.ha.namenodes.masters</name>
            <value>master,slave1</value>
        </property>
        <property>
            <name>dfs.namenode.rpc-address.masters.master</name>
            <value>192.168.199.131:8020</value>
        </property> 
        <property>
            <name>dfs.namenode.rpc-address.masters.slave1</name>
            <value>192.168.199.132:8020</value> 
        </property>
        <property>
            <name>dfs.namenode.http-address:masters.master</name>
            <value>192.168.199.131:50070</value>
        </property>
        <property>
            <name>dfs.namenode.http-address:masters.slave1</name>
            <value>192.168.199.132:50070</value>
        </property>
        <property>
            <name>dfs.namenode.shared.edits.dir</name>
            <value>file:///usr/softwares/hadoop-2.7.3/data/edits_share</value>
        </property>
        <property>
            <name>dfs.client.failover.proxy.provider.masters</name>
            <value>org.apache.hadoop.hdfs.server.namenode.ha.
                ConfiguredFailoverProxyProvider</value>
        </property>
        <property>
            <name>dfs.ha.fencing.methods</name>
            <value>sshfence</value>
        </property> 
        <property>
            <name>dfs.ha.fencing.ssh.private-key-files</name>
            <value>/root/.ssh/id_rsa</value>
        </property>
        <property>
            <name>dfs.ha.fencing.ssh.connect-timeout</name>
            <value>30000</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/usr/softwares/hadoop-2.7.3/data/name</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/usr/softwares/hadoop-2.7.3/data/data</value>
        </property>
        <property>
            <name>dfs.replication</name>
            <value>3</value> 
        </property>
        <property>
            <name>dfs.webhdfs.enabled</name>
            <value>true</value>
        </property>
        <property>
            <name>ha.zookeeper.quorum</name>
            <value>192.168.199.131:2181,192.168.199.132:2181,192.168.199.134:2181</value>
        </property>
        <property>
            <name>dfs.ha.automatic-failover.enabled</name>
            <value>true</value>
        </property>
        <property>
            <name>dfs.namenode.shared.edits.dir</name>
            <value>qjournal://192.168.199.131:8485;192.168.199.132:8485;
                192.168.199.134:8485/masters</value>
        </property>
    </configuration>

5、 mapred-site.xml文件

复制mapred-site.xml.template文件，并命名为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

配置 mapred-site.xml,在标签<configuration>中添加以下代码

<property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
      </property>

6、yarn-site.xml文件

<configuration>
        
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
            <name>yarn.resourcemanager.ha.enabled</name>
            <value>true</value>
        </property>
        <property>
            <name>yarn.resourcemanager.cluster-id</name>
            <value>yarnha</value>
        </property>
        <property>
            <name>yarn.resourcemanager.ha.rm-ids</name>
            <value>rm0,rm1</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname.rm0</name>
            <value>master</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname.rm1</name>
            <value>slave1</value>
        </property>
        <property>
            <name>yarn.resourcemanager.zk-address</name>
            <value>192.168.199.131:2181,192.168.199.132:2181,192.168.19.134:2181</value>
        </property>
    </configuration>

7、slaves文件，(使用ip或者直接用hostname)

192.168.199.131
    192.168.199.132
    192.168.199.134

8、配置hadoop的环境，类似于配置jdk一样

sudo vim /etc/profile

根据hadoop文件夹的路径配置，以我的路径/home/hadoop/hadoop-2.7.3 为例，键入命令 source /etc/profile 使配置立即生效

export HADOOP_HOME=/usr/softwares/hadoop-2.7.3
    export PATH="$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH"
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

三、拷贝hadoo到其他机器

1、拷贝，在master机器上执行如下命令

scp -r hadoop-2.6.5 root@slave1:/usr/softwares/

传过去后，在slave1、slave2上面同样对hadoop进行路径配置，和2中的第8步一样

2、修改yarn-site.xml文件

在slave1机器，即ResourceManager备用主节点上修改如下属性，表示当前机器作为rm2，同时删除slave2机器上的该属性对，因为slave2机器并不作为ResourceManager。

<property>
        <name>yarn.resourcemanager.ha.id</name>
        <value>rm2</value>
      </property>

四、初始化集群和启动

1、**修改****hadoop集群及hbase集群的pid文件存放位置**

（1） 在集群各个节点的目录下面创建一个文件夹，并更改这个文件夹的权限，将这个目录及子目录的拥有者改为你的当前用户，我这是sxp,不然执行start-all.sh的时候当前用户会没有权限创建pid文件

sudo mkdir -p /usr/softwares/hadoop-2.7.3/pid
    chown -R sxp:sxp/var/hadoop

（2）、修改hadoop-env.sh 增加：

export HADOOP_PID_DIR=/usr/softwares/hadoop-2.7.3/pid

（3）、修改hbase-env.sh ,增加：

export HBASE_PID_DIR=/usr/softwares/hadoop-2.7.3/pid

（4）、修改yarn-daemon.sh 增加：

export YARN_PID_DIR=/usr/softwares/hadoop-2.7.3/pid

（5）、修改hadoop-daemon.sh 增加：

export HADOOP_PID_DIR=/usr/softwares/hadoop-2.7.3/pid

2、**启动分为第一次启动和非第一次启动，尤其要注意第一次启动**

**（1）第一次启动**

a、分别在三台虚拟机上进入/home/zookeeper/zookeeper/ 目录下，在三台虚拟机上分别执行如下命令启动zookeeper集群：

bin/zkServer.sh start

启动完分别在三台虚拟机zookeeper查看状态，若一台为leader另两台为follower，即启动zookeeper集群成功。

bin/zkServer.sh status

zookeeper停止命令，每台启动的机器都要执行停止命令

zookeeper-3.4.11/bin/zkServer.sh stop

b、在master上，格式化ZKFC，进入 /home/hadoop/hadoop-2.6.5 目录下，执行如下命令，ZKFC服务用于监控NN状态，当activeNN挂掉，将standby变为active。

hadoop-2.7.3/bin/hdfs zkfc -formatZK

c、分别在三台虚拟机上，进入 /home/hadoop/hadoop-2.6.5目录下，启动journalnode服务，用于activeNN和standbyNN数据共享同步。

hadoop-2.7.3/sbin/hadoop-daemon.sh start journalnode

d、在master上，格式化NameNode，输入命令，bin/hdfs namenode –format，类似下图即可：

hadoop-2.7.3/bin/hdfs namenode -format

e、在master上，启动HDFS

hadoop-2.7.3/sbin/start-dfs.sh

f、在slave1上，同步NameNode，

hadoop-2.7.3/bin/hdfs namenode -bootstrapStandby

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70][]

如果出现WARN ipc.Client: Address change detected. Old: xxx New: xxx类似的警告，本机是由于改主机名的时候将/etc/hosts文件中127.0.0.1和::1后面的localhost.localdomain改成了master导致系统读出的hadoop001 IP变为了127.0.0.1，解决方法：vi /etc/hosts编辑hosts文件，将127.0.0.1和::1后面的hadoop001改回localhost.localdomain

g、在master上，使用命令sbin/stop-dfs.sh关闭HDFS

hadoop-2.7.3/sbin/stop-dfs.sh

h、启动整个hadoop HA集群

*  在master上，启动HDFS、Yarn，可以分别启动也可以同时启动，推荐分开启动。

hadoop-2.7.3/sbin/start-dfs.sh
    hadoop-2.7.3/sbin/start-yarn.sh	
    或者
    hadoop-2.7.3/sbin/start-all.sh

*  在slave1上，启动ResourceManager，到此第一次启动完成。

启动命令
    hadoop-2.7.3/sbin/yarn-daemon.sh start resourcemanager
    停止命令
    hadoop-2.7.3/sbin/yarn-daemon.sh stop resourcemanager

2、**非第一次启动**

首先启动zookeeper

zookeeper-3.4.11/bin/zkServer.sh start

然后在启动start-all.sh

hadoop-2.7.3/sbin/start-all.sh

**3、额外命令（需要时启动）**

启动第2步初始化好的NameNode服务

hadoop-2.7.3/sbin/hadoop-daemon.sh start namenode

启动DFSZKFailoverController 在所有namenode节点

启动命令
    hadoop-2.7.3/sbin/hadoop-daemon.sh start zkfc
    停止命令
    hadoop-2.7.3/sbin/hadoop-daemon.sh stop zkfc

启动Hadoop的HA集群

4、**运行wordcount测试是否成功**

（1）、运行实例

hdfs dfs -mkdir -p input
    vim /root/words.txt
    hdfs dfs -put /root/words.txt input
    hdfs dfs -ls /user/root/input
    hadoop-2.7.3/bin/hadoop jar hadoop-2.7.3/share/hadoop/mapreduce/
    hadoop-mapreduce-examples-2.7.3.jar wordcount input output

（2）、查看结果

hdfs dfs -ls output
    hdfs dfs -cat output/part-r-00000

5、**测试是否启动成功**

通过浏览器中查看 http:master1:50070 和 http:master2:50070 可以确定哪个NameNode处理激活状态

![201908032029490.png][]

![20190803203041483.png][]

6、**测试高可用**

（1）查看Namenode、ResourceManager状态

hdfs haadmin -getServiceState master
    yarn rmadmin -getServiceState rm1 
    hdfs haadmin -getServiceState slave1
    yarn rmadmin -getServiceState rm2

（2）、主节点--->备用主节点

*  kill掉主节点的namenode，查看备用主节点的namenode状态是否切换为active；
 *  kill掉主节点的ResourceManager，查看备用主节点的ResourceManager是否切换为active；

（3）、备用主节点--->主节点

若上述操作执行成功，那么再测试反向故障自动转移，先启动被杀死的原主节点的namenode和ResourceManager

hadoop-2.7.3/sbin/hadoop-daemon.sh start namenode
    hadoop-2.7.3/sbin/yarn-daemon.sh start resourcemanager

7、停止集群步骤：

*  在master上，使用 sbin/stop-dfs.sh、sbin/stop-yarn.sh 分别停止HDFS、Yarn，也可用全部停止命令 sbin/stop-all.sh
 *  在slave1上，使用命令 sbin/yarn-daemon.sh stop resourcemanager，停止ResourceManager
 *  分别在三台虚拟机上，进入 /home/zookeeper/zookeeper目录下，使用命令bin/zkServer.sh stop停止zookeeper。

8、hadoo启动时服务运行的进程

![20190803203454858.png][]

![20190803203516695.png][]

![20190803203528620.png][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3MyOTQ4NzgzMDQ_size_16_color_FFFFFF_t_70]: /images/20211109/bf36c61e3cca48cda581cfb9501585f3.png
[201908032029490.png]: /images/20211109/2f440df3161945e5899f4b778ffb87aa.png
[20190803203041483.png]: /images/20211109/b1a2b548baa0452eb2b5d684bf849ee5.png
[20190803203454858.png]: /images/20211109/179291b6202a43699f842e3108b899d4.png
[20190803203516695.png]: /images/20211109/f04f72bcb5ea48968cf82c91059e52bb.png
[20190803203528620.png]: /images/20211109/0300e74baea548c3815741c30623c656.png