Hbase Locality

亦凉 2022-09-10 06:08 133阅读 0赞

工作中的一段尴尬对话：

![f4469d4a0a786e70c643f8ea2eb2d3c2.png][]

同事：Hbase 页面上 Locality 信息列表示啥，是否会对我们开发的功能有影响？
    
    我：Locality 是本地化的指标，这个值大部分时间为 1 或者 0.9 ~ 1 之间，如果低于这个值，
        会频繁通过走网络取数据，影响读取性能
    
    同事：那什么情况这个值会低于 1？
    
    我：... 
    （突然发现自己也不是很懂，灰溜溜的 gun 回去学习了）

简单的记录下检索到的内容，方便后续复习，同时请各位大佬多多指点

### 背景一：Hbase 模块 ###

![1f0e27cf1c284cf0b154c5dbe6da3fd7.png][]

**（抱歉，图忘了从哪个页面扒的了，侵删）**

# 功能概要
    
    Hbase
    |- Zookeeper：负责多 master 选主，避免单节点故障
    |- Client：缓存 region 信息（首次或者失败后从 Master meta 信息里获取）后直接访问 RegionServer
    |- Master：
       * 分配新 Region 到 RegionServer，重分配失效 RegionServer 上的 Region，负载均衡
       * 记录维护 Region 信息：增删改查（切分合并等操作）
       * 监听存活
    |- RegionServer：切分 Region，响应 Client 的 IO 请求
    |- |- HLog：WAL(write ahead log) 预写日志，数据写入先写日志再写Region，用于故障恢复重放（replay）
    |- |- HRegion：包含多个 Store
    |- |- |- Store：一个store对应一个CF，包含一个 Memstore 多个 StoreFile
    |- |- |- |- Memstore：数据先写入此处，达到阈值（RegionServer/Region下所有的 Memstore 大小和阈值、Memstore大小阈值、HLog数量阈值、定时周期阈值）后会 Flush 生成新的 Storefile。读先读 Memstore 再度 StoreFile
    |- |- |- |- StoreFile：数量增长到一定阈值后，通过 Compaction 合成更大的 Storefile，减少小文件数
    |- |- |- |- |- HFile ：StoreFile 的底层实现，由多个 block 组成，结尾数据块包含索引信息

### 背景二：HDFS 存储副本选择策略 ###

HDFS 默认是三副本存储（可配），三副本的分配策略如下：

1. 第一个副本写在本地
    2. 第二个副本写不同机架的节点上（随机）
    3. 第三个副本存在第二副本机架的不同节点上（随机）
    （老版本的略微不同：两个副本在本地机架，一个在远程机架）

NameNode 不允许 DataNodes 具有同一个 block 的不同副本，所以最大副本数为当时的 DataNodes 数。如果大于三副本，会写到集群上的随机节点

### Hbase Locality ###

*  写数据时，会先写一份大本地，再通过 HDFS 同步到其他副本
 *  读取时会优先读取本地，读取不到或者本地文件损坏后会从其他副本加载该信息
 *  当本地化被破坏时，RegionServer 需要通过网络从远程 DataNode 读取数据，直到该数据被重新写回本地（compaction 时会将远程数据拉到本地存储一份）。也就是为什么 RegionServer 挂了之后，Locality 指标会下降，然后逐渐趋近于 1，最后等于 1

### 坏数据本地化的场景 ###

1.  当 RegionServer 下的 Region 过多，出现倾斜，HBase Balancer 做负载均衡，重新分配部分 Region，达到负载均衡的目的（如：split 会导致某些 RegionServer 的 Region 过多）
2.  RegionServer 挂了，其下所有 Region 需要重新分配到新的 RegionServer 上：其他副本是随机写的（见背景二），新 RegionSever 所在机器几乎不可能拥有全 Region 数据
3.  集群重启：会重新分配 Region 与 RegionServer 的关系
4.  表被 re-enabled：Regions 通过 round-robin 方式重新分配 **（待确认，别的文章看到的，但是自己 disable & enable 表后未发现本地化指标变化）**

### **TODO 待查问题** ###

1.  RegionServer 与 Region 看起来时个动态绑定的关系，那么二者是怎么维护的呢？为什么重启集群后需要重新分配？
2.  Balancer / Split 是如何做的？

[f4469d4a0a786e70c643f8ea2eb2d3c2.png]: /images/20220829/3a5e821b4f7a4609bc802e42c2e88dac.png
[1f0e27cf1c284cf0b154c5dbe6da3fd7.png]: /images/20220829/c750e2a4c2b74e08b74cb9939f75bb55.png