hadoop-2.x高可用集群搭架

川长思鸟来 2022-06-14 07:37 153阅读 0赞

**一、规划**

1、硬件资源

ip6:centos-node6
    ip7:centos-node7
    ip8:centos-node8
    ip9:centos-node9

2、配置环境变量：

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
    export PATH=.:$JAVA_HOME/bin:$PATH

**二、环境配置**

1、修改/etc/hosts

ip6:centos-node6
    ip7:centos-node7
    ip8:centos-node8
    ip9:centos-node9

2、免密码登录

生成私钥【4台机器上均要执行】

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

生成免密码登陆文件【4台机器上均要执行】

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

然后，将id_dsa.pub拷贝到 centos-node7，centos-node8，centos-node9
    的~/root/目录下

scp ~/.ssh/id_dsa.pub root@centos-node7:~/root  
    scp ~/.ssh/id_dsa.pub root@centos-node8:~/root
    scp ~/.ssh/id_dsa.pub root@centos-node9:~/root

将id_dsa.pub重写到 authorized_keys 在当前/root/目录下执行命令：

cat id_dsa.pub >> ~/.ssh/authorized_keys

测试登陆 ssh centos-node7,centos-node8，centos-node9

**三、Hadoop-2.x HDFS 高可用分布图**

![这里写图片描述][SouthEast]

hadoop-2.x 配置在服务器节点位置

![这里写图片描述][SouthEast 1]

**四、hadoop-2.x配置**

下载hadoop-2.5.1.tar.gz

http://apache.fayea.com/hadoop/common/

并将其解压到/usr/local/hadoop-2.5.1.下，执行命令：

tar -zxvf hadoop-2.5.1.tar.gz -C /usr/local/

1、修改配置文件 /usr/local/hadoop-2.5.1/etc/hadoop/

hadoop-env.sh

export JAVA_HOME=/usr/local/java/jdk1.7.0_79

hdfs-site.xml

//配置一个命名服务bjsxt
    <property>
      <name>dfs.nameservices</name>
      <value>bjsxt</value>
    </property>
    //NameNode命名
    <property>
      <name>dfs.ha.namenodes.bjsxt</name>
      <value>nn1,nn2</value>
    </property>
    //配置两个NameNode的RPC协议主机名和端口
    <property>
      <name>dfs.namenode.rpc-address.bjsxt.nn1</name>
      <value>centos-node6:8020</value>
    </property>
    <property>
      <name>dfs.namenode.rpc-address.bjsxt.nn2</name>
      <value>centos-node7:8020</value>
    </property>
    //两个NameNode的http协议的主机名和端口
    <property>
      <name>dfs.namenode.http-address.bjsxt.nn1</name>
      <value>centos-node6:50070</value>
    </property>
    <property>
      <name>dfs.namenode.http-address.bjsxt.nn2</name>
      <value>centos-node7:50070</value>
    </property>
    //配置(原文件)JournalNode的服务器名和端口
    <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://centos-node7:8485;centos-node8:8485;centos-node9:8485/bjsxt</value>
    </property>
    
    //配置客户端提供的java类，将使用DFS客户机找到哪些NameNode是活跃的Active
    <property>
     <name>dfs.client.failover.proxy.provider.bjsxt</name>
     <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    //配置sshfence指定私钥的路径
    <property>
      <name>dfs.ha.fencing.methods</name>
      <value>sshfence</value>
    </property>
    //指定私钥的路径
    <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/root/.ssh/id_dsa</value>
    </property>
    
    //JournalNode 的工作目录
    <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/opt/jn/data</value>
    </property>
    
    //配置开启故障自动切换
    <property>
       <name>dfs.ha.automatic-failover.enabled</name>
       <value>true</value>
     </property>

core-site.xml

//配置集群名称 bjsxt
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://bjsxt</value>
    </property>
    //配置zookeeper集群服务器节点
    <property>
       <name>ha.zookeeper.quorum</name>
       <value>centos-node6:2181,centos-node7:2181,centos-node8:2181</value>
    </property>
    //修改hadoop默认工作目录
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/opt/hadoop-2.5.1</value>
    </property>

slaves

//配置DataNode的节点服务器
    centos-node7
    centos-node8
    centos-node9

**五、zookeeper安装配置**

下载地址：[http://apache.fayea.com/zookeeper/][http_apache.fayea.com_zookeeper]

下载 zookeeper-3.4.6.tar.gz，上传到centos-node6服务器上，解压：

tar -zxvf zookeeper-3.4.6.tar.gz -C /usr/local

修改配置文件，cd /usr/zookeeper-3.4.6/conf 执行命令

cp zoo_sample.cfg zoo.cfg

修改zoo.cfg

//修改地址
    dataDir=/opt/zookeeper
    //添加集群节点服务
    server.1=centos-node6:2888:3888
    server.2=centos-node7:2888:3888
    server.3=centos-node8:2888:3888

在/opt/zookeeper 目录下创建文件myid， 修改 myid

vi /opt/zookeeper/myid
    //编辑内容
    1

将 opt/zookeeper文件夹拷贝到centos-node7,centos-node8 (因为我们有三台zookeep服务节点) 命令：

scp -r zookeeper/ root@centos-node7:/opt
    scp -r zookeeper/ root@centos-node8:/opt

将 centos-node7 服务器目录 /opt/zookeeper 下myid 文件编辑内容为：2  
将 centos-node8 服务器目录 /opt/zookeeper 下myid 文件编辑内容为：3

同时拷贝centos-node6 上的zookeeper 到centos-node7,centos-node8服务器上

scp -r /usr/local/zookeeper-3.4.6 root@centos-node7:/usr/local
    scp -r /usr/local/zookeeper-3.4.6 root@centos-node8:/usr/local

1、配置zookeeper环境变量

vi /etc/profile

export JAVA_HOME=/usr/local/java/jdk1.7.0_79
    export ZK_HOME=/usr/local/zookeeper-3.4.6
    export PATH=.:$JAVA_HOME/bin:$ZK_HOME/bin:$PATH

环境变量 立即生效

source /etc/profile

同时拷贝centos-node6 上的/etc/profile文件 到centos-node7,centos-node8服务器上的 /etc/目录下 ，在centos-node7,centos-node8 分别执行 source /etc/profile ,立即生效

启动zookeeper 执行命令：

zkServer.sh start

![这里写图片描述][SouthEast 2]

现在 服务器centos-node6 hadoop 配置完成了，需要拷贝到centos-node7,centos-node8,centos-node9,服务器上：

将 hadoop-2.5.1.tar.gz 拷贝到centos-node7,centos-node8,centos-node9,服务器上，分别解压到 /usr/local 目录下面：

tar -zxvf hadoop-2.5.1.tar.gz -C /usr/local

拷贝服务器 centos-node6 的 /usr/local/hadoop -2.5.1/etc/haoop/所有文件 拷贝到  
centos-node7,centos-node8,centos-node9服务器上的 /usr/local/hadoop -2.5.1/etc/haoop/中。（保持配置文件一致）

//usr/local/hadoop -2.5.1/etc/haoop/当前目录下拷贝
    
    scp ./* root@centos-node7:/usr/local/hadoop-2.5.1/etc/hadoop/
    scp ./* root@centos-node8:/usr/local/hadoop-2.5.1/etc/hadoop/
    scp ./* root@centos-node9:/usr/local/hadoop-2.5.1/etc/hadoop/

备注：关闭防火墙：centos-7关闭防火墙：systemctl stop firewalld

启动：JN (journalnode) ，在配置有JD服务器上启动

./hadoop-daemon.sh start journalnode

![这里写图片描述][SouthEast 3]

运行（hdfs namenode -format）格式化，在其中一台NameNode上进行格式化，在hadoop/bin/目录下执行命令：

./hdfs namenode -format

![这里写图片描述][SouthEast 4]

初始化完成 会生成 hdfs 文件目录

![这里写图片描述][SouthEast 5]

现在服务器 centos-node6 上NameNode 以格式化，HDFS 目录已生成，然而第二个centos-node7上的NameNode未格式化， HDFS目录未生成，

这时候我们必须启动 centos-node6 的NameNode，执行一下命令：

./hadoop-daemon.sh start namenode

![这里写图片描述][SouthEast 6]

然后 在未格式化（centos-node7）的 NameNode 上执行次命令：

./hdfs namenode -bootstrapStandby

![这里写图片描述][SouthEast 7]

现在我们就可以 初始化 ZKFC 在其中一个NameNode 上执行(三台zookeeper同时启动的情况) 命令：

./hdfs zkfc -formatZK

![这里写图片描述][SouthEast 8]

启动dfs,查看jps 执行命令：

./start-dfs.sh

![这里写图片描述][SouthEast 9]

浏览器访问：[http://centos-node6:50070][http_centos-node6_50070]

![这里写图片描述][SouthEast 10]

接下来我们配置 ResourceManager 和 DataManager

修改配置文件 mapred-site.xml.template 执行命令：

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

//添加yarn
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>

修改配置文件 yarn-site.xml 执行命令：

//centos-node6服务器作为服务节点
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>centos-node6</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
            <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>

拷贝 mapred-site.xml yarn-site.xml 到centos-node7,centos-node8,centos-node9 服务器上/hadoop-2.5.1/etc/hadoop/目录下。

**启动所有服务**：首先启动所有节点的zookeeper服务

./start-all.sh

![这里写图片描述][SouthEast 11]

查看centos-node7上的进程：jps

![这里写图片描述][SouthEast 12]

查看centos-node8上的进程：jps

![这里写图片描述][SouthEast 13]

查看centos-node9上的进程：jps

![这里写图片描述][SouthEast 14]

浏览器访问 ResourceManager [http://centos-node6:8088][http_centos-node6_8088]

![这里写图片描述][SouthEast 15]

hadoop-2.x高可用集群搭架 配置完成

[SouthEast]: /images/20220614/ea7c4ef4eefb40a5a89daf471f8b44b2.png
[SouthEast 1]: /images/20220614/84bb9b9de8084353bd97ce62efe1ed75.png
[http_apache.fayea.com_zookeeper]: http://apache.fayea.com/zookeeper/
[SouthEast 2]: /images/20220614/49449ff9c65f40d28da784a3ee96b365.png
[SouthEast 3]: /images/20220614/4a340d9c2c2743e28cd47062c119522a.png
[SouthEast 4]: /images/20220614/379eb9bd76994380acd2b247fb0f90e2.png
[SouthEast 5]: /images/20220614/aa15e2d3032142f4a6bb28914e7368f3.png
[SouthEast 6]: /images/20220614/61d5cc98746c4d8a96e6713b436d7af9.png
[SouthEast 7]: /images/20220614/46c405008f344207bd9100b0e5722b6d.png
[SouthEast 8]: /images/20220614/cdc4df54d4c34a59afb9f4f5261b6ea0.png
[SouthEast 9]: /images/20220614/7989afde32d84420a54059455e9e3256.png
[http_centos-node6_50070]: http://centos-node6:50070
[SouthEast 10]: /images/20220614/45bd9b7f38314e6aa41a74a6349ae77c.png
[SouthEast 11]: /images/20220614/9bcce7b3265348b9abe0958610bce2e8.png
[SouthEast 12]: /images/20220614/83c06068abd54f1d84441c980b97d371.png
[SouthEast 13]: /images/20220614/6e22d91b51f2484ca5bb21795d85ae1e.png
[SouthEast 14]: /images/20220614/8b88a6140bd944e7885725fb290869ef.png
[http_centos-node6_8088]: http://centos-node6:8088
[SouthEast 15]: /images/20220614/34ad4844e4ff48a19933dc8f93516e85.png