Hadoop-HA高可用工作机制，自动故障转移机制

Bertha 。 2023-03-02 15:54 18阅读 0赞

# Hadoop-HA高可用工作机制，自动故障转移机制 #

### 文章目录 ###

*  Hadoop-HA高可用工作机制，自动故障转移机制
 *   *  1 HA概述
     *  2 HDFS-HA工作机制
     *   *  2.1 HDFS-HA工作要点
         *  2.2 HDFS-HA自动故障转移工作机制

## 1 HA概述 ##

（1）HA（High Availablity），即高可用。

（2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。

（3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。

（4）NameNode主要在以下两个方面影响HDFS集群

*  NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启
 *  NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用

HDFS HA功能通过NameNode的状态（Active / Standby）来实现在集群中的管理，如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将另一台NameNode的状态改成Active即可。

## 2 HDFS-HA工作机制 ##

通过多个NameNode消除单点故障

### 2.1 HDFS-HA工作要点 ###

1）元数据管理方式需要改变

*  内存中各自保存一份元数据；
 *  Edits日志只有Active状态的NameNode节点可以做写操作</font；
 *  所有的NameNode都可以读取Edits；
 *  共享的Edits放在一个共享存储中管理（qjournal和NFS两个主流实现）；

2）需要一个状态管理功能模块

*  实现了一个zkfailover，常驻在每一个namenode所在的节点，每一个zkfailover 负责监控自己所在NameNode节点，利用zk进行状态标识，当需要进行状态切换时，由zkfailover来负责切换，切换时需要防止`brain split`现象的发生。

3）必须保证两个NameNode之间能够ssh无密码登录

4）隔离（Fence），即同一时刻仅仅有一个NameNode对外提供服务

### 2.2 HDFS-HA自动故障转移工作机制 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]  
自动故障转移为HDFS部署增加了两个新组件：ZooKeeper和ZKFailoverController（ZKFC）进程。ZooKeeper是维护少量协调数据，通知客户端这些数据的改变，和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能：

**1．故障检测**

*  集群中的每个NameNode在ZooKeeper中维护了一个会话，如果机器崩溃，ZooKeeper中的会话将终止，ZooKeeper通知另一个NameNode需要触发故障转移。

**2．现役NameNode选择**

*  ZooKeeper提供了一个简单的机制，用于唯一的选择一个节点为`active`状态。如果目前现役NameNode崩溃，另一个节点可能从ZooKeeper获得，特殊的排外锁，以表明它应该成为现役NameNode。
 *  ZKFC是自动故障转移中的另一个新组件，是ZooKeeper的客户端，也监视和管理NameNode的状态。每个运行NameNode的主机也运行了一个ZKFC进程，ZKFC负责：

**1）健康监测**

*  ZKFC使用一个健康检查命令定期地ping与之在相同主机的NameNode，只要该NameNode及时地回复健康状态，ZKFC认为该节点是健康的。如果该节点崩溃，冻结或进入不健康状态，健康监测器标识该节点为非健康的。

**2）ZooKeeper会话管理**

*  当本地NameNode是健康的，ZKFC保持一个在ZooKeeper中打开的会话。如果本地NameNode处于active状态，ZKFC也保持一个特殊的znode锁，该锁使用了ZooKeeper对短暂节点的支持，如果会话终止，锁节点将自动删除。

**3）基于ZooKeeper的选择**

*  如果本地NameNode是健康的，且ZKFC发现没有其它的节点当前持有znode锁，它将为自己获取该锁。如果成功，则它已经赢得了选择，并负责运行故障转移进程以使它的本地NameNode为Active。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMyNzI3MDk1_size_16_color_FFFFFF_t_70]: /images/20230208/e7c52b6578084c1fbbc906f6056eca90.png

发表评论取消回复

表情：

评论列表（有 0 条评论，18人围观）

还没有评论，来说两句吧...

相关阅读

相关集群环境下的MySQL故障转移机制

在集群环境下，MySQL的故障转移机制主要是通过主备（Master-Slave）模式实现的。以下是主要的步骤： 1. **数据复制**：MySQL的每个slave节点都会自动

骑猪看日落/ 2025年01月09日 12:48/ 0 赞/ 7 阅读

相关 HDFS-HA故障转移机制

![1572881-20190806204217045-1958458973.png][] 转载于:https://www.cnblogs.com/xiangyugua

比眉伴天荒/ 2023年08月17日 15:19/ 0 赞/ 122 阅读

相关 Hadoop-HA高可用工作机制，自动故障转移机制

Hadoop-HA高可用工作机制，自动故障转移机制文章目录 Hadoop-HA高可用工作机制，自动故障转移机制 1 HA概述 2

Bertha 。/ 2023年03月02日 15:54/ 0 赞/ 19 阅读

相关 Redis高可用集群之Redis主从复制+哨兵机制实现故障转移

一、前言上一篇文章我们已经完成了在Linux环境上安装Redis：【[https://blog.csdn.net/Thinkingcao/article/details

- 日理万妓/ 2023年02月13日 05:47/ 0 赞/ 67 阅读

相关 Dubbo服务高可用机制

Dubbo服务高可用机制 Dubbo 容错机制容错机制值得是服务容忍错误的能力，当系统出现网络延迟、网络中断、服务异常等原因，造成当前服务暂时不可用，`Dubbo

柔情只为你懂/ 2022年11月25日 11:50/ 0 赞/ 232 阅读

相关 Redis 那些故障转移、高可用方案

Redis大家都不陌生，就算是没用过，也都听说过了。作为最广泛使用的KV内存数据库之一，在当今的大流量时代，单机模式略显单薄，免不了要有一些拓展的方案。笔者下文会对各种

悠悠/ 2022年09月17日 03:25/ 0 赞/ 170 阅读

相关 MySQL高可用方案：基于MHA实现的自动故障转移群集

MySQL高可用方案：基于MHA实现的自动故障转移群集常用MySQL不同高可用方案的对比（下图来自官方手册） ![20130422095115456.j

我不是女神ヾ/ 2022年07月16日 07:57/ 0 赞/ 198 阅读

相关【redis】cluster集群的故障转移机制实验

曾经只是知道redis可以故障转移，但是不知道怎么转移，这次来见识一下：前提搭建了一个如下图的三主三从的集群。 ![70][] 并且

朴灿烈づ我的快乐病毒、/ 2022年05月18日 02:45/ 0 赞/ 283 阅读

相关 centos7 安装keepalived + nginx 高可用故障转移记录

keepalived 类似的还有 lvs nginx 我的已经安装好，安装步骤： [https://blog.csdn.net/tang\_jian\_dong/art

「爱情、让人受尽委屈。」/ 2022年01月26日 02:29/ 0 赞/ 1047 阅读

相关 HDFS-HA自动故障转移工作机制

HDFS-HA自动故障转移工作机制 -------------------- 目录 1. HA概述 2. HDFS-HA工作要点 3. HDFS-HA自动故

系统管理员/ 2022年01月21日 08:13/ 0 赞/ 299 阅读