HBase：HBase架构及读写流程

深碍√TFBOYSˉ_ 2022-10-02 10:51 250阅读 0赞

本篇博文从分析HBase架构开始，首先从架构中各个组成部分开始，接着从HBase写入过程角度入手，分析**HFile的Compaction合并、Region的Split分裂过程及触发机制**。

![这里写图片描述][70]

## 架构分析 ##

**1、HMaster**

*  **负责管理HBase元数据，即表的结构、表存储的Region等元信息**。
 *  **负责表的创建，删除和修改（因为这些操作会导致HBase元数据的变动）**。
 *  **负责为HRegionServer分配Region，分配好后也会将元数据写入相应位置（后面会详细讲述放在哪）**

如果对可用性要求较高，它需要做HA高可用（通过Zookeeper）。但是**HMaster不会去处理Client端的数据读写请求**，因为这样会加大其负载压力，具体的读写请求它会交给HRegionServer来做。

**2、HRegionServer**

*  一个RegionServer里有**多个Region**。
 *  **处理Client端的读写请求**（根据从HMaster返回的元数据找到对应的Region来读写数据）。
 *  **管理Region的Split分裂、StoreFile的Compaction合并**

一个RegionServer管理着多个Region，在HBase运行期间，可以动态添加、删除HRegionServer

**3、HRegion**

*  一个HRegion里可能有**1个或多个Store**。
 *  HRegionServer维护一个HLog。
 *  **HRegion是分布式存储和负载的最小单元**。
 *  **表通常被保存在多个HRegionServer的多个Region中**

因为HBase用于存储海量数据，故一张表中数据量非常之大，单机一般存不下这么大的数据，**故HBase会将一张表按照行水平将大表划分为多个Region，每个Region保存表的一段连续数据。 初始只有1个Region，当一个Region增大到某个阈值后，便分割为两个。**

**4、Store**

*  Store是存储落盘的最小单元，由内存中的MemStore和磁盘中的若干StoreFile组成。
 *  一个Store里有**1个或多个StoreFile**和**一个memStore**。
 *  每个Store存储一个列族

## HBase 读写过程 ##

写过程

*  Client访问ZK，根据ROOT表获取meta表所在Region的位置信息，并将该位置信息写入Client Cache。 
 *          （注：为了加快数据访问速度，我们将元数据、Region位置等信息缓存在Client Cache中。）
 *  Client读取meta表，再根据meta表中查询得到的Namespace、表名和RowKey等相关信息，获取将要写入Region的位置信息（此过程即Region三层定位，如下图），最后client端会将meta表写入Client Cache。
 *  Client向上一步HRegionServer发出写请求，HRegionServer先将操作和数据写入HLog（预写日志，Write Ahead Log，WAL），再将数据写入MemStore，并保持有序。 （联想：HDFS中也是如此，EditLog写入时机也是在真实读写之前发生）
 *  当MemStore的数据量超过**阈值**时，将数据溢写磁盘，生成一个StoreFile文件。 
 *  当Store中StoreFile的数量超过阈值时，将若干小StoreFile合并（Compact）为一个大StoreFile。 
 *  当Region中最大Store的大小超过阈值时，Region分裂（Split），等分成两个子Region

具体合并与分裂过程我们接下来讲解。

![这里写图片描述][70 1]

Region三层定位

# 读过程 #

1.  获取将要读取Region的位置信息（同读的1、2步）。
2.  Client向HRegionServer发出读请求。
3.  HRegionServer先从MemStore读取数据，如未找到，再从StoreFile中读取。

## StoreFile合并（Compaction） ##

**目的：减少StoreFile数量，提升数据读取效率。**

### Compaction分为两种： ###

*  major compaction

将Store下面\*\*所有\*\*StoreFile合并为一个StoreFile，此操作会删除其他版本的数据（不同时间戳的）

*  minor compaction

选取Store下的\*\*部分\*\*StoreFile，将它们合并为一个StoreFile，此操作不会删除其他版本数据。

## Region分割（Split） ##

**目的：实现数据访问的负载均衡**。

做法：利用Middle Key将当前Region划分为两个等分的子Region。需要指出的是：Split会产生大量的I/O操作，Split开始前和Split完成后，HRegionServer都会通知HMaster。Split完成后，由于Region映射关系已变更，故HRegionServer会更新meta表。

以上，即是HBase详细架构，以及在此架构上的读写操作的过程和可能发生的事件。后续博文会对HBase二级索引及BulkLoad相关内容进行进一步研究。

原文：https://blog.csdn.net/whdxjbw/article/details/81107285

[70]: /images/20220112/d2cd9f2245474993a27d2382903285bb.png
[70 1]: /images/20220112/40230295f0c849b1af22a37ad1d18bc7.png