2.8.6 hadoop体系之离线计算-HBase数据库-HBase高级-HBase写流程

小咪咪 2022-12-25 15:51 11阅读 0赞

**目录**

1.HBase的写流程图

2.流程分析

2.1 具体流程

2.2 关于Hbase:meta表

2.3 关于写入WAL和MemStore的先后问题

--------------------

# 1.HBase的写流程图 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

# 2.流程分析 #

## 2.1 具体流程 ##

*  1）Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server。
 *  2）访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespace:table/rowkey， 查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以 及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问。
 *  3）与目标 Region Server 进行通讯；
 *  4）将数据顺序写入（追加）到 WAL；
 *  5）将数据写入对应的 MemStore，数据会在 MemStore 进行排序；
 *  6）向客户端发送 ack；
 *  7）等达到 MemStore 的刷写时机后，将数据刷写到 HFile。

## 2.2 关于Hbase:m**eta表** ##

描述HBase表的表，元数据表。有了 Region 标识符，就可以唯一标识每个 Region。为了定位每个 Region 所在的位置，可以构建一张映射表。映射表的每个条目包含两项内容，一项是 **Region 标识符**，另一项是 **Region Server服务器标识**。这个条目就表示 Region 和 Region Server服务器之间的对应关系，从而就可以使用户知道某个 Region 存储在哪个 Region  Server服务器中。这个映射表包含了关于 Region 的元数据，因此也被称为“元数据表”，又名“Meta表”。使用 scan 命令可查看 Meta 表的结构，如图所示  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMjA4ODUx_size_16_color_FFFFFF_t_70_pic_center]  
        Meta 表中的每一行记录了一个 Region 的信息。**RowKey 包含表名、起始行键和时间戳信息**，中间用逗号隔开，第一个 Region 的起始行键为空。时间戳之后用.隔开的为分区名称的编码字符串，该信息是由前面的表名、起始行键和时间戳进行字符串编码后形成的。  
Meta 表里有一个列族 info。info 包含了三个列，分别为 Regioninfo、Server 和 Serverstartcode。Regionlnfo中记录了 Region 的详细信息，包括行键范围 StartKey 和 EndKey、列族列表和属性。  
        Server 记录了管理该 Region 的 Region Server服务器的地址，如 localhost:16201。Serverstartcode 记录了 Region Server服务器开始托管该 Region 的时间。当用户表特别大时，用户表的 Region 也会非常多。Meta 表存储了这些 Region 信息，也变得非常大。Meta 表也需要划分成多个 Region，每个 Meta 分区记录一部分用户表和分区管理的情况。（有了meta表，就可以得到region和HRegionServer的对应关系，可以进行Region定位。客户端通过 ZooKeeper 获取 Meta 表（分区表）存储的地址，首先在对应的 Regionserver上获取 Meta 表的信息（meta表存在Regionserver上），得到所需的Region对应的Region server的信息，然后从Region Server服务器上找到所需的数据）

## 2.3 关于写入WAL和MemStore的先后问题 ##

可以通过查看put实现源码：

1）先写入WAL，但是不同步

2）再写入内存Mem Store

3）最后同步WAL，检查内存是否写入成功，如果失败回滚事务

上面的三个步骤利用了事务的原子操作，如果失败立即回滚，如果面试官问起的话，也可以说成是数据先写进WAL，后写进内存Mem Store。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221120/0054f9dc33b24b929fe3fb1e93aed9dc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzMjA4ODUx_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/b6175ea24f1740ad9e37b04e35d46219.png