二十三、Hadoop的HA（高可用）

朴灿烈づ我的快乐病毒、 2021-09-02 05:32 336阅读 0赞

今天来给Hadoop的部分收收尾，这是Hadoop系列的最后一篇文章了，因为HA需要用到Zookeeper，所以在讲解了Zookeeper的部分内容后，才重新回过头来看Hadoop的HA部分，关注专栏[《破茧成蝶——大数据篇》][Link 1]，查看更多相关的内容~

--------------------

**目录**

一、HA概述

二、HDFS HA

2.1 HDFS HA工作机制

2.1.1 工作要点

2.1.2 工作机制

2.2 HDFS HA配置

2.2.1 环境准备

2.2.2 集群节点规划

2.2.3 配置Zookeeper集群

2.2.4 配置HDFS HA

2.2.5 启动HDFS HA集群

2.2.6 配置自动故障转移

三、Yarn HA

3.1 规划集群

3.2 配置Yarn HA

--------------------

# 一、HA概述 #

HA（High Available），即高可用（7\*24小时不中断服务）。实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。NameNode主要在以下两个方面影响HDFS集群：（1）NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启。（2）NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用。  
       HDFS HA功能通过配置Active/Standby两个NameNode实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。

# 二、HDFS HA #

## 2.1 HDFS HA工作机制 ##

### 2.1.1 工作要点 ###

1、元数据管理方式需要改变。  
       （1）内存中各自保存一份元数据；  
       （2）Edits日志只有Active状态的NameNode节点可以做写操作；  
       （3）两个NameNode都可以读取Edits；  
       （4）共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实现）；  
       2、需要一个状态管理功能模块。  
       实现了一个zkfailover，常驻在每一个namenode所在的节点，每一个zkfailover负责监控自己所在NameNode节点，利用zk进行状态标识，当需要进行状态切换时，由zkfailover来负责切换，切换时需要防止brain split现象的发生。  
       3、必须保证两个NameNode之间能够ssh无密码登录。  
       4、隔离（Fence），即同一时刻仅仅有一个NameNode对外提供服务。

### 2.1.2 工作机制 ###

1、自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。ZooKeeper是维护少量协调数据，通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能：

（1）故障检测：集群中的每个NameNode在ZooKeeper中维护了一个持久会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。  
       （2）现役NameNode选择：ZooKeeper提供了一个简单的机制用于唯一的选择一个节点为active状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得特殊的排外锁以表明它应该成为现役NameNode。

2、ZKFC是自动故障转移中的另一个新组件，是ZooKeeper的客户端，也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，ZKFC负责：

（1）健康监测：ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的。  
       （2）ZooKeeper会话管理：当本地NameNode是健康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持，如果会话终止，锁节点将自动删除。  
       （3）基于ZooKeeper的选择：如果本地NameNode是健康的，且ZKFC发现没有其它的节点当前持有znode锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode为Active。故障转移进程与前面描述的手动故障转移相似，首先如果必要保护之前的现役NameNode，然后本地NameNode转换为Active状态。

## 2.2 HDFS HA配置 ##

### 2.2.1 环境准备 ###

包括：修改IP，更改主机名、主机映射，关闭防火墙，关闭安全子系统，配置免秘钥登录，安装JDK配置环境变量等等。这些在前文中都有说道，在这就不再赘述了，可以参考[《二、Linux下搭建Hadoop的运行环境》][Linux_Hadoop]。

### 2.2.2 集群节点规划 ###

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">master</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">&nbsp;slave01</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">slave02</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">NameNode&nbsp;&nbsp;&nbsp;&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">NameNode</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">&nbsp;</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">JournalNode&nbsp;&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">JournalNode&nbsp;&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">JournalNode&nbsp;&nbsp;</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">DataNode</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">DataNode</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">DataNode</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">ZK&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">ZK&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">ZK&nbsp;</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">ResourceManager</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">&nbsp;</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">NodeManager</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">NodeManager</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">NodeManager</p> </td> 
  </tr> 
 </tbody> 
</table>

### 2.2.3 配置Zookeeper集群 ###

步骤同[《二、Linux安装Zookeeper》][Linux_Zookeeper]中分布式安装Zookeeper的步骤。

### 2.2.4 配置HDFS HA ###

1、首先在/opt/modules目录下新建ha目录，并将hadoop-2.7.2目录拷贝到ha目录下：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70][]

2、在hadoop-env.sh中配置JAVA\_HOME：

![20201203150509682.png][]

3、配置core-site.xml文件

<configuration>
    	
    	<property>
    		<name>fs.defaultFS</name>
        	<value>hdfs://namenodecluster</value>
    	</property>
    
    	
    	<property>
    		<name>hadoop.tmp.dir</name>
    		<value>/opt/modules/ha/hadoop-2.7.2/data/tmp</value>
    	</property>
    </configuration>

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1][]

4、配置hdfs-site.xml文件

<configuration>
    	
    	<property>
    		<name>dfs.nameservices</name>
    		<value>namenodecluster</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.ha.namenodes.namenodecluster</name>
    		<value>nn1,nn2</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.namenode.rpc-address.namenodecluster.nn1</name>
    		<value>master:9000</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.namenode.rpc-address.namenodecluster.nn2</name>
    		<value>slave01:9000</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.namenode.http-address.namenodecluster.nn1</name>
    		<value>master:50070</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.namenode.http-address.namenodecluster.nn2</name>
    		<value>slave01:50070</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.namenode.shared.edits.dir</name>
    	<value>qjournal://master:8485;slave01:8485;slave02:8485/namenodecluster</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.ha.fencing.methods</name>
    		<value>sshfence</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.ha.fencing.ssh.private-key-files</name>
    		<value>/root/.ssh/id_rsa</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.journalnode.edits.dir</name>
    		<value>/opt/modules/ha/hadoop-2.7.2/data/jn</value>
    	</property>
    
    	
    	<property>
    		<name>dfs.permissions.enable</name>
    		<value>false</value>
    	</property>
    
    	
    	<property>
      		<name>dfs.client.failover.proxy.provider.mycluster</name>
    	<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    	</property>
    </configuration>

5、将设置好的文件分发到其他节点

xsync /opt/modules/ha

### 2.2.5 启动HDFS HA集群 ###

1、首先启动journalnode服务：

sbin/hadoop-daemons.sh start journalnode

![20201206102158184.png][]

2、在nn1上格式化NameNode并启动：

bin/hdfs namenode -format

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2][]

sbin/hadoop-daemon.sh start namenode

![20201203153730221.png][]

3、在nn2上同步nn1的元数据信息并启动，**这里需要注意的是：NameNode只能格式化一次！**

bin/hdfs namenode -bootstrapStandby

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3][]

sbin/hadoop-daemon.sh start namenode

4、浏览器访问进行测试

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 5][]

5、在nn1上启动所有的DataNode

sbin/hadoop-daemons.sh start datanode

6、将nn1的NameNode更改为Active

bin/hdfs haadmin -transitionToActive nn1

再次刷新浏览器：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 6][]

也可以使用命令查看nn1是否为Active：

bin/hdfs haadmin -getServiceState nn1

![20201203160307319.png][]

### 2.2.6 配置自动故障转移 ###

1、修改hdfs-site.xml配置文件，在下方添加如下内容：

<property>
    		<name>dfs.ha.automatic-failover.enabled</name>
    		<value>true</value>
    	</property>

2、在core-site.xml文件中增加如下内容：

<property>
    		<name>ha.zookeeper.quorum</name>
    		<value>master:2181,slave01:2181,slave02:2181</value>
    	</property>

**配置完之后别忘了将修改的文件分发到其余的机器。**

3、 删除目录下的data和logs文件。

rm -rf ./data ./logs

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 7][]

4、启动服务

（1）首先启动Zookeeper集群和journalnode服务。

bin/zkServer.sh start
    
    sbin/hadoop-daemons.sh start journalnode

（2）格式化NameNode，同样的，只在一台机器上格式化即可。

bin/hdfs namenode -format

（3）初始化HA在Zookeeper中状态，**值得注意的是，只需要在其中一台机器上执行就可以了**。

bin/hdfs zkfc -formatZK

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 8][]

此处，相当于在Zookeeper中新建了一个Node，如下所示：

![20201204134332740.png][]

（4）启动HDFS服务

sbin/start-dfs.sh

（5）在nn2上执行如下命令同步nn1的元数据信息

bin/hdfs namenode -bootstrapStandby

（6）单独启动nn2的NameNode

sbin/hadoop-daemon.sh start namenode

5、测试验证

目前，是master节点的NameNode处于Active的状态，现在我们手动杀死master节点的NameNode，发现slave01节点上的NameNode自动的由Standby转换为Active。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 9][]

# 三、Yarn HA #

## 3.1 规划集群 ##

<table> 
 <tbody> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">hadoop102</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">hadoop103&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">hadoop104</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">NameNode&nbsp;&nbsp;&nbsp;&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">NameNode</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">&nbsp;</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">JournalNode&nbsp;&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">JournalNode&nbsp;&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">JournalNode&nbsp;&nbsp;</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">DataNode</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">DataNode</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">DataNode</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">ZK</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">ZK</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">ZK</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">ResourceManager&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">ResourceManager&nbsp;</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">&nbsp;</p> </td> 
  </tr> 
  <tr> 
   <td style="vertical-align:top;width:142pt;"> <p style="margin-left:0cm;">NodeManager</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">NodeManager</p> </td> 
   <td style="vertical-align:top;width:142.05pt;"> <p style="margin-left:0cm;">NodeManager</p> </td> 
  </tr> 
 </tbody> 
</table>

## 3.2 配置Yarn HA ##

1、在yarn-site.xml中添加如下配置

<configuration>
    
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    
        
        <property>
            <name>yarn.resourcemanager.ha.enabled</name>
            <value>true</value>
        </property>
     
        
        <property>
            <name>yarn.resourcemanager.cluster-id</name>
            <value>cluster-yarn1</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.ha.rm-ids</name>
            <value>rm1,rm2</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.hostname.rm1</name>
            <value>master</value>
        </property>
    
        <property>
            <name>yarn.resourcemanager.hostname.rm2</name>
            <value>slave01</value>
        </property>
     
         
        <property>
            <name>yarn.resourcemanager.zk-address</name>
            <value>master:2181,slave01:2181,slave02:2181</value>
        </property>
    
         
        <property>
            <name>yarn.resourcemanager.recovery.enabled</name>
            <value>true</value>
        </property>
     
         
        <property>
            <name>yarn.resourcemanager.store.class</name>
            <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    
    </configuration>

2、将修改的内容同步到其余各个节点。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 10][]

3、启动服务

（1）启动Zookeeper

bin/zkServer.sh start

（2）启动hdfs相关服务

sbin/start-dfs.sh

（3）启动yarn服务

sbin/start-yarn.sh

![20201206164858801.png][]

此时，需要去另外一条机器上启动ResourceManager。

sbin/yarn-daemon.sh start resourcemanager

4、查看状态

bin/yarn rmadmin -getServiceState rm1

![2020120616580258.png][]

通过页面访问，不管输入的是master还是slave01，都会跳转到active状态的节点上，这里是master：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 11][]

本文到此也就结束了，你们在此过程中存在什么问题，欢迎留言，让我看看你们都遇到了什么问题~

[Link 1]: https://blog.csdn.net/gdkyxy2013/category_10006538.html
[Linux_Hadoop]: https://blog.csdn.net/gdkyxy2013/article/details/106448187
[Linux_Zookeeper]: https://blog.csdn.net/gdkyxy2013/article/details/108460883
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70]: /images/20210726/ee00e6698e064531980261364d02a106.png
[20201203150509682.png]: /images/20210726/ab516b2c17fa4de39b25ed1fab774885.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 1]: /images/20210726/f5ef3a4ac1884531896ee1ba48790996.png
[20201206102158184.png]: /images/20210726/7f159ff3a26c42579968729e27ad382a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 2]: /images/20210726/95fb800b3427419d8859ba5f4da10d15.png
[20201203153730221.png]: /images/20210726/c1dc6ac98beb43ee9d57ec9b20f18059.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 3]: /images/20210726/e3d64c01f6f14c1d82c36ff8d5020d30.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 4]: /images/20210726/e3b3378a4cfa492a8b56b170eb059e80.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 5]: /images/20210726/e5f3d0c35ca14342a30031e34c68a375.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 6]: /images/20210726/ed3c42da871344bbab1c952c02c1a251.png
[20201203160307319.png]: /images/20210726/0ab048a228ad43098d486039706b6d3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 7]: /images/20210726/20062715bd7c42aba321a8bd46996b95.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 8]: /images/20210726/4859000fb16f49eeb1b4d819c039994c.png
[20201204134332740.png]: /images/20210726/f7ddf3e419bc4618a316c8a110de1253.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 9]: /images/20210726/0d08a7c6d25949ff9842c7750ac4222e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 10]: /images/20210726/e36e819b852b43dca7371506282f7c8c.png
[20201206164858801.png]: /images/20210726/304611cfbe114797ac9917ca88b36ddc.png
[2020120616580258.png]: /images/20210726/e805651a34bb4ac88d20ee6f88807a22.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dka3l4eTIwMTM_size_16_color_FFFFFF_t_70 11]: /images/20210726/7a1ffe416eac42b7a2083fa9dc42e04a.png

发表评论取消回复

表情：

评论列表（有 0 条评论，336人围观）

还没有评论，来说两句吧...

相关阅读

相关 hadoop HA （高可用 high available）的搭建

hadoop HA 的搭建 * * hadoop HA 需求来源 * * * 为什么要搭建hadoop HA？ ...

灰太狼/ 2024年04月18日 16:36/ 0 赞/ 80 阅读

相关 SparkStreaming实现HA高可用

SparkStreaming HA高可用性实现起来首先是自身的高可用操作主要是以下三点 1、UpdateStateByKey、windows等有状态的操作时，自动进行c

比眉伴天荒/ 2023年11月11日 06:48/ 0 赞/ 125 阅读

相关 Haddop：HA高可用

文章目录一、HA概述二、HDFS-HA工作机制 2.1 HDFS-HA工作要点 2.2 HDFS-HA自动故障转移工作机制

r囧r小猫/ 2023年02月15日 12:46/ 0 赞/ 20 阅读

相关 Nginx高可用HA

1. Nginx常规部署如下图所示，用户在访问网站的时候是直接访问到Nginx，Nginx下挂了一个Tomcat集群，在集群环境下，Tomcat之间彼此协调，已达到负载

短命女/ 2023年02月14日 06:56/ 0 赞/ 17 阅读

相关 mycat Ha机制高可用

一、打包区别 `mvn package`：打包到本项目，一般在项目`target`目录下。 `mvn install`：打包到本地仓库，如果没设置`Maven

小鱼儿/ 2022年06月15日 03:09/ 0 赞/ 201 阅读

相关 Hadoop +Zookeeper 实现高可用

实验环境 IP 主机名 172.25.38.1 server1 Namenode 172.25.38.2 server2 J

电玩女神/ 2022年01月28日 01:49/ 0 赞/ 267 阅读

相关 hadoop+zookeeper高可用

环境基于nfs文件共享，server1上安装了hadoop，部署的相关服务参考我的上一篇博客环境 RHEL 7.3 h1 172.25.1.1(server1)

落日映苍穹つ/ 2022年01月22日 12:51/ 0 赞/ 204 阅读

相关利用zookeeper模拟实现HA高可用

利用zookeeper模拟实现HA高可用 1、需求在分布式场景中，对于主从架构来说，最大的问题就是单点故障。当学过zookeeper之后，我们都知道，可

待我称王封你为后i/ 2022年01月11日 05:53/ 0 赞/ 323 阅读

相关 LVS(三)——高可用

一.高可用高可用性H.A.（High Availability）指的是通过尽量缩短因日常维护操作（计划）和突发的系统崩溃（非计划）所导致的停机时间，以提高系统和应用的可

心已赠人/ 2021年09月23日 04:28/ 0 赞/ 368 阅读

相关二十三、Hadoop的HA（高可用）

今天来给Hadoop的部分收收尾，这是Hadoop系列的最后一篇文章了，因为HA需要用到Zookeeper，所以在讲解了Zookeeper的部分内容后，才重新回过

朴灿烈づ我的快乐病毒、/ 2021年09月02日 05:32/ 0 赞/ 337 阅读