Hbase容错和恢复

矫情吗；* 2022-03-20 14:12 207阅读 0赞

### 1. HLogFile ###

HLog文件就是一个普通的Hadoop Sequence File，Sequence File 的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括 sequence number和timestamp，timestamp是“写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。  
　　HLog Sequece File的Value是HBase的KeyValue对象，即对应HFile中的KeyValue.  
该机制用于数据的容错和恢复：

### 2. Hbase数据恢复 ###

每个HRegionServer中都有一个HLog对象，HLog是一个实现Write Ahead Log的类，在每次用户操作写入MemStore的同时，也会写一份数据到HLog文件中，HLog文件定期会滚动出新的，并删除旧的文件（已持久化到StoreFile中的数据）。当HRegionServer意外终止后，HMaster会通过Zookeeper感知到，HMaster首先会处理遗留的 HLog文件，将其中不同Region的Log数据进行拆分，分别放到相应region的目录下，然后再将失效的region重新分配，领取 到这些region的HRegionServer在Load Region的过程中，会发现有历史HLog需要处理，因此会Replay HLog中的数据到MemStore中，然后flush到StoreFiles，完成数据恢复。

### 3. HBase容错性 ###

**Master容错：**  
Zookeeper重新选择一个新的Master

*  无Master过程中，数据读取仍照常进行；
 *  无master过程中，region切分、负载均衡等无法进行；

**RegionServer容错：**  
定时向Zookeeper汇报心跳，如果一旦时间内未出现心跳，Master将该RegionServer上的Region重新分配到其他RegionServer上，失效服务器上“预写”日志由主服务器进行分割并派送给新的RegionServer

**Zookeeper容错：**  
Zookeeper是一个可靠地服务，一般配置3或5个Zookeeper实例

发表评论取消回复

表情：

评论列表（有 0 条评论，207人围观）

还没有评论，来说两句吧...

相关阅读

相关 hbase数据导出和恢复设置双master

1.备份TETST111 hbase org.apache.hadoop.hbase.mapreduce.Export TEST111 /do1/hh 2.dro

Bertha 。/ 2023年06月05日 08:42/ 0 赞/ 7 阅读

相关 RDD数据丢失后如何恢复？RDD容错机制介绍

RDD是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。对于迭代式计算和交互式数据挖掘，RDD可以将中间计算的数据结果保存在内存中

短命女/ 2022年11月06日 11:49/ 0 赞/ 172 阅读

相关 Magent、Memcached 负载均匀和容错

一．背景 Memcached在实现分布集群部署时， Memcached服务端的之间是没有通讯的，服务端是伪分布式，实现分布式是由客户端实现的，客户端实现了分布式

柔情只为你懂/ 2022年08月14日 03:41/ 0 赞/ 165 阅读

相关 HIVE和HBASE

1. 两者分别是什么？ Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQ

柔情只为你懂/ 2022年05月22日 07:46/ 0 赞/ 253 阅读

相关 Hbase各组件功能、HMaster、HRegionServer、HRegion、Hbase和Zookeeper关系、HBase如何恢复宕机前数据 03

1. Hbase整体结构 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6L

迈不过友情╰/ 2022年04月24日 07:38/ 0 赞/ 570 阅读

相关 HBase原理－RegionServer宕机数据恢复

1. 前言 HBase采用类LSM的架构体系，数据写入并没有直接写入数据文件，而是会先写入缓存（Memstore），在满足一定条件下缓存数据再会异步刷新到硬盘。为了防止数

川长思鸟来/ 2022年04月22日 15:10/ 0 赞/ 520 阅读

相关 Hadoop容错恢复之纠删码

在HDFS中常见的容错恢复是副本机制，它会在部分文件丢失之后通过心跳机制发数据给NameNode然后寻找未丢失的副本，按照replication进行备份。这样的话会保证数据在绝

矫情吗；*/ 2022年04月13日 09:37/ 0 赞/ 410 阅读

相关 Hbase1.1.2高可用配置Hmaster容错

\[size=medium\] Hbase的Hmaster配置HA相比Hadoop的NameNode和ResourceManager的HA来说，比较简单，几乎不用配置什么：

浅浅的花香味﹌/ 2022年04月12日 11:22/ 0 赞/ 273 阅读

相关 Hbase容错和恢复

1. HLogFile HLog文件就是一个普通的Hadoop Sequence File，Sequence File 的Key是HLogKey对象，HLogKey中记录

矫情吗；*/ 2022年03月20日 14:12/ 0 赞/ 208 阅读

相关 hbase错误排查/数据恢复

文章目录 1，hbase报错集 hbase数据和元数据不吻合，常见错误解决hbase报错：(同版本的CDH数据转移,只需转移/hbase

古城微笑少年丶/ 2022年03月11日 15:52/ 0 赞/ 1526 阅读