HA 高可用集群搭建与使用

超、凢脫俗 2022-09-14 12:27 192阅读 0赞

### HA 高可用集群搭建与使用 ###

*  搭建问题总结
 *   *  1、搭建不会生成data目录原因
     *  2、HA不会自动转移问题
 *  一、HA概述
 *  二、 HDFS-HA工作机制
 *   *  1、HDFS-HA工作要点
     *  2、HDFS-HA自动故障转移工作机制
     *   *  1）故障检测
         *  2）现役NameNode选择
         *  1）健康监测
         *  2）ZooKeeper会话管理
         *  3）基于ZooKeeper的选择
 *  三、配置HDFS-HA集群
 *   *  1、官方地址
     *  2. 在opt目录下创建一个ha文件夹
     *  3. 将/opt/app/下的 hadoop-2.7.2拷贝到/opt/ha目录下
     *  4. 配置hadoop-env.sh
     *  5. 配置core-site.xml
     *  6. 配置hdfs-site.xml
     *  7. 拷贝配置好的hadoop环境到其他节点
 *  四、启动HDFS-HA集群
 *   *  1. 在各个JournalNode节点上，输入以下命令启动journalnode服务
     *  2. 在\[nn1\]上，对其进行格式化，并启动
     *  3. 在\[nn2\]上，同步nn1的元数据信息
     *  4. 启动\[nn2\]
     *  5. 查看web页面显示
     *  6. 在\[nn1\]上，启动所有datanode
     *  7. 将\[nn1\]切换为Active
     *  8、查看是否Active
 *  五、配置HDFS-HA自动故障转移
 *   *  1. 具体配置
     *  2. 启动
     *   *  （1）关闭所有HDFS服务
         *  （2）启动Zookeeper集群
         *  （3）初始化HA在Zookeeper中状态
         *  （4）启动HDFS服务
     *  3. 验证
 *  六、YARN-HA配置
 *   *  （1）yarn-site.xml
     *  （2）同步更新其他节点的配置信息
     *  3、启动hdfs
     *   *  （1）在各个JournalNode节点上，输入以下命令启动journalnode服务
         *  （2）在\[nn1\]上，对其进行格式化，并启动
         *  （3）在\[nn2\]上，同步nn1的元数据信息
         *  （4）启动\[nn2\]
         *  （5）启动所有DataNode
     *  4. 启动YARN
     *   *  （1）在hadoop102中执行
         *  （2）在hadoop103中执行
         *  （3）查看服务状态，

# 搭建问题总结 #

## 1、搭建不会生成data目录原因 ##

**hdfs.size.xml 配置问题、这个journalnode 你要放在hdfs这个配置文件里、不要放在core.size.xml里面**

<property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/module/hadoop-3.1.3/data/jn</value>
      </property>

## 2、HA不会自动转移问题 ##

搭建完成射死一台机器、另一个不会自动转移、而要把射死的启动他才能转移过去、

由于缺少插件的原因、zk不会有失败的进程、安装以下插件就可以解决
    yum -y install psmisc

# 一、HA概述 #

> 1）所谓HA（High Available），即高可用（7\*24小时不中断服务）。  
> 2）**实现高可用最关键的策略是消除单点故障**。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。  
> 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。  
> 4）NameNode主要在以下两个方面影响HDFS集群  
> NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启  
> NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用  
> HDFS HA功能通过配置Active/Standby两个NameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

# 二、 HDFS-HA工作机制 #

> 通过双NameNode消除单点故障

## 1、HDFS-HA工作要点 ##

> 1.  元数据管理方式需要改变 内存中各自保存一份元数据； Edits日志只有Active状态的NameNode节点可以做写操作； 两个NameNode都可以读取Edits； 共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实现）；

> 1.  需要一个状态管理功能模块 实现了一个zkfailover，常驻在每一个namenode所在的节点，每一个zkfailover负责监控自己所在NameNode节点，利用zk进行状态标识，当需要进行状态切换时，由zkfailover来负责切换，切换时需要防止brain  
>     split现象的发生。

> 1.  必须保证两个NameNode之间能够ssh无密码登录

> 1.  隔离（Fence），即同一时刻仅仅有一个NameNode对外提供服务

## 2、HDFS-HA自动故障转移工作机制 ##

> 前面学习了使用命令hdfs haadmin -failover手动进行故障转移，在该模式下，即使现役NameNode已经失效，系统也不会自动从现役NameNode转移到待机NameNode，下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程，如图3-20所示。ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能

### 1）故障检测 ###

集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。

### 2）现役NameNode选择 ###

> ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode。

> ZKFC是自动故障转移中的另一个新组件，是ZooKeeper的客户端，也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，ZKFC负责

### 1）健康监测 ###

ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的。

### 2）ZooKeeper会话管理 ###

当本地NameNode是健康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持，如果会话终止，锁节点将自动删除。

### 3）基于ZooKeeper的选择 ###

如果本地NameNode是健康的，且ZKFC发现没有其它的节点当前持有znode锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode为Active。故障转移进程与前面描述的手动故障转移相似，首先如果必要保护之前的现役NameNode，然后本地NameNode转换为Active状态。

HDFS-HA故障转移机制  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16]

# 三、配置HDFS-HA集群 #

## 1、官方地址 ##

> http://hadoop.apache.org/

## 2. 在opt目录下创建一个ha文件夹 ##

> mkdir ha

## 3. 将/opt/app/下的 hadoop-2.7.2拷贝到/opt/ha目录下 ##

cp -r hadoop-2.7.2/ /opt/ha/

## 4. 配置hadoop-env.sh ##

export JAVA_HOME=/opt/module/jdk1.8.0_144

## 5. 配置core-site.xml ##

<configuration>
    
    
        <property>
          <name>fs.defaultFS</name>
              <value>hdfs://mycluster</value>
        </property>
    
        
        <property>
          <name>hadoop.tmp.dir</name>
          <value>/opt/module/hadoop-3.1.3/data/tmp</value>
        </property>
    
    
        <property>
      <name>ha.zookeeper.quorum</name>
      <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>
    
    </configuration>

## 6. 配置hdfs-site.xml ##

<configuration>
    
      
      <property>
        <name>dfs.nameservices</name>
        <value>mycluster</value>
      </property>
    
    
      <property>
        <name>dfs.ha.namenodes.mycluster</name>
        <value>nn1,nn2</value>
      </property>
    
      
      <property>
        <name>dfs.namenode.rpc-address.mycluster.nn1</name>
        <value>hadoop102:9000</value>
      </property>
    
      
      <property>
        <name>dfs.namenode.rpc-address.mycluster.nn2</name>
        <value>hadoop103:9000</value>
      </property>
    
      
      <property>
        <name>dfs.namenode.http-address.mycluster.nn1</name>
        <value>hadoop102:50070</value>
      </property>
    
      
      <property>
        <name>dfs.namenode.http-address.mycluster.nn2</name>
        <value>hadoop103:50070</value>
      </property>
    
      
      <property>
        <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
      </property>
    
      
      <property>
        <name>dfs.ha.fencing.methods</name>
        <value>sshfence</value>
      </property>
    
      
      <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/atguigu/.ssh/id_rsa</value>
      </property>
    
      
      <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/opt/module/hadoop-3.1.3/data/jn</value>
      </property>
    
    
      
      <property>
        <name>dfs.permissions.enable</name>
        <value>false</value>
      </property>
    
      
      <property>
          <name>dfs.client.failover.proxy.provider.mycluster</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
      </property>
    
    
      <property>
      <name>dfs.ha.automatic-failover.enabled</name>
      <value>true</value>
    </property>
    
    </configuration>

## 7. 拷贝配置好的hadoop环境到其他节点 ##

# 四、启动HDFS-HA集群 #

## 1. 在各个JournalNode节点上，输入以下命令启动journalnode服务 ##

sbin/hadoop-daemon.sh start journalnode

## 2. 在\[nn1\]上，对其进行格式化，并启动 ##

bin/hdfs namenode -format
    sbin/hadoop-daemon.sh start namenode

## 3. 在\[nn2\]上，同步nn1的元数据信息 ##

bin/hdfs namenode -bootstrapStandby

## 4. 启动\[nn2\] ##

sbin/hadoop-daemon.sh start namenode

## 5. 查看web页面显示 ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 1]

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 2]

## 6. 在\[nn1\]上，启动所有datanode ##

sbin/hadoop-daemons.sh start datanode

## 7. 将\[nn1\]切换为Active ##

bin/hdfs haadmin -transitionToActive nn1

## 8、查看是否Active ##

bin/hdfs haadmin -getServiceState nn1

# 五、配置HDFS-HA自动故障转移 #

## 1. 具体配置 ##

（1）在hdfs-site.xml中增加

<property>
    	<name>dfs.ha.automatic-failover.enabled</name>
    	<value>true</value>
    </property>

（2）在core-site.xml文件中增加

<property>
    	<name>ha.zookeeper.quorum</name>
    	<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
    </property>

## 2. 启动 ##

### （1）关闭所有HDFS服务 ###

sbin/stop-dfs.sh

### （2）启动Zookeeper集群 ###

bin/zkServer.sh start

### （3）初始化HA在Zookeeper中状态 ###

bin/hdfs zkfc -formatZK

### （4）启动HDFS服务 ###

sbin/start-dfs.sh

## 3. 验证 ##

（1）将Active NameNode进程kill

kill -9 namenode的进程id

（2）将Active NameNode机器断开网络

service network stop

# 六、YARN-HA配置 #

## （1）yarn-site.xml ##

<configuration>
    
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    
        
        <property>
            <name>yarn.resourcemanager.ha.enabled</name>
            <value>true</value>
        </property>
     
        
        <property>
            <name>yarn.resourcemanager.cluster-id</name>
            <value>cluster-yarn1</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.ha.rm-ids</name>
            <value>rm1,rm2</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.hostname.rm1</name>
            <value>hadoop102</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.hostname.rm2</name>
            <value>hadoop103</value>
        </property>
     
         
        <property>
            <name>yarn.resourcemanager.zk-address</name>
            <value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
        </property>
    
         
        <property>
            <name>yarn.resourcemanager.recovery.enabled</name>
            <value>true</value>
        </property>
     
         
        <property>
            <name>yarn.resourcemanager.store.class</name>     <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    
    </configuration>

## （2）同步更新其他节点的配置信息 ##

## 3、启动hdfs ##

### （1）在各个JournalNode节点上，输入以下命令启动journalnode服务 ###

sbin/hadoop-daemon.sh start journalnode

### （2）在\[nn1\]上，对其进行格式化，并启动 ###

bin/hdfs namenode -format
    sbin/hadoop-daemon.sh start namenode

### （3）在\[nn2\]上，同步nn1的元数据信息 ###

bin/hdfs namenode -bootstrapStandby

### （4）启动\[nn2\] ###

sbin/hadoop-daemon.sh start namenode

### （5）启动所有DataNode ###

sbin/hadoop-daemons.sh start datanode

## 4. 启动YARN ##

### （1）在hadoop102中执行 ###

sbin/start-yarn.sh

### （2）在hadoop103中执行 ###

sbin/yarn-daemon.sh start resourcemanager

### （3）查看服务状态， ###

bin/yarn rmadmin -getServiceState rm1

由于是集群访问103的时候会强制你跳转到102的页面上  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 3]

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/fe64cbbfcc8242da8b1a4386bb952f19.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/a742bccdb733420980b9f05feb44b4d4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/591a436de0724e33ac6918a0e00964b2.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5bCP5Z2P6K6y5b6u5pyN5Yqh_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/c8c8b3adf3c8465e9b47d3b0dd5a9bb8.png