大数据学习之HBase概述

迷南。 2022-09-07 03:56 279阅读 0赞

### 文章目录 ###

*   *  一、简介
     *  二、HBase相关概念
     *   *  Row Key (行键)
         *  Column Family（列族）
         *  Column Qualifier (列限定符)
         *  Column(列)
         *  Cell
         *  Timestamp(时间戳)
         *  Region
         *  Region Server
     *  三、HBase系统架构
     *   *  Zookeeper
         *  Master
         *  Region Server
     *  四、操作HBase
     *   *  Phoenix
     *  五、Hbase 协处理器
     *   *  协处理器类型
         *   *  1.Observer协处理器
             *  2.Endpoint协处理器
     *  参考

## 一、简介 ##

HBase 是一个构建在 Hadoop 文件系统之上的面向列的数据库管理系统。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70]  
Hadoop 的缺陷在于它只能执行批处理，并且只能以顺序方式访问数据，这意味着即使是最简单的工作，也必须搜索整个数据集，无法实现对数据的随机访问。实现数据的随机访问是传统的关系型数据库所擅长的，但它们却不能用于海量数据的存储。在这种情况下，必须有一种新的方案来解决海量数据存储和随机访问的问题，HBase 就是其中之一。

## 二、HBase相关概念 ##

HBase中最核心的是表，表结构是与我们常见的SQL数据库是不太一样的。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 1]  
*图片引用自 : HBase 是列式存储数据库吗* *https://www.iteblog.com/archives/2498.html*

Hbase 的表具有以下特点：

*  容量大：一个表可以有数十亿行，上百万列；
 *  面向列：数据是按照列存储，每一列都单独存放，数据即索引，在查询时可以只访问指定列的数据，有效地降低了系统的 I/O 负担；
 *  稀疏性：空 (null) 列并不占用存储空间，表可以设计的非常稀疏 ；
 *  数据多版本：每个单元中的数据可以有多个版本，按照时间戳排序，新的数据在最上面；
 *  存储类型：所有数据的底层存储格式都是字节数组 (byte\[\])。

### Row Key (行键) ###

`Row Key` 是用来检索记录的主键。想要访问 HBase Table 中的数据，只有以下三种方式：

*  通过指定的 `Row Key` 进行访问；
 *  通过 Row Key 的 range 进行访问，即访问指定范围内的行；
 *  进行全表扫描。

`Row Key` 可以是任意字符串，存储时数据按照 `Row Key` 的字典序进行排序。这里需要注意以下两点：

*  因为字典序对 Int 排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。如果你使用整型的字符串作为行键，那么为了保持整型的自然序，行键必须用 0 作左填充。
 *  行的一次读写操作时原子性的 (不论一次读写多少列)。

### Column Family（列族） ###

HBase 表中的每个列，都归属于某个列族。列族是表的 Schema 的一部分，所以列族需要在创建表时进行定义。列族的所有列都以列族名作为前缀，例如 `courses:history`，`courses:math` 都属于 `courses` 这个列族。

例如在下图中,`basic data`和`property data`就是列族  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 2]

### Column Qualifier (列限定符) ###

列限定符，你可以理解为是具体的列名，例如 `courses:history`，`courses:math` 都属于 `courses` 这个列族，它们的列限定符分别是 `history` 和 `math`。需要注意的是列限定符不是表 Schema 的一部分，你可以在插入数据的过程中动态创建列。

### Column(列) ###

Column并不是一个新概念，HBase 中的列由列族和列限定符组成，它们由 `:`(冒号) 进行分隔，即一个完整的列名应该表述为 `列族名 ：列限定符`。

### Cell ###

`Cell` 是行，列族和列限定符的组合，并包含值和时间戳。你可以等价理解为关系型数据库中由指定行和指定列确定的一个单元格，但不同的是 HBase 中的一个单元格是由多个版本的数据组成的，每个版本的数据用时间戳进行区分。

### Timestamp(时间戳) ###

HBase 中通过 `row key` 和 `column` 确定的为一个存储单元称为 `Cell`。每个 `Cell` 都保存着同一份数据的多个版本。版本通过时间戳来索引，时间戳的类型是 64 位整型，时间戳可以由 HBase 在数据写入时自动赋值，也可以由客户显式指定。每个 `Cell` 中，不同版本的数据按照时间戳倒序排列，即最新的数据排在最前面。

### Region ###

HBase Table 中的所有行按照 `Row Key` 的字典序排列。HBase Tables 通过行键的范围 (row key range) 被水平切分成多个 `Region`, 一个 `Region` 包含了在 start key 和 end key 之间的所有行。

每个表一开始只有一个 `Region`，随着数据不断增加，`Region` 会不断增大，当增大到一个阀值的时候，`Region` 就会等分为两个新的 `Region`。当 Table 中的行不断增多，就会有越来越多的 `Region`。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 3]  
`Region` 是 HBase 中**分布式存储和负载均衡的最小单元**,不同的 `Region` 可以分布在不同的 `Region Server` 上

### Region Server ###

`Region Server` 运行在 HDFS 的 DataNode 上。它具有以下组件：

*  **WAL(Write Ahead Log，预写日志)**：用于存储尚未进持久化存储的数据记录，以便在发生故障时进行恢复。
 *  **BlockCache**：读缓存。它将频繁读取的数据存储在内存中，如果存储不足，它将按照 `最近最少使用原则` 清除多余的数据。
 *  **MemStore**：写缓存。它存储尚未写入磁盘的新数据，并会在数据写入磁盘之前对其进行排序。每个 Region 上的每个列族都有一个 MemStore。
 *  **HFile** ：将行数据按照 Key\\Values 的形式存储在文件系统上。

## 三、HBase系统架构 ##

HBase 系统遵循 Master/Salve 架构，由三种不同类型的组件组成：

### Zookeeper ###

1.  保证任何时候，集群中只有一个 Master；
2.  存贮所有 Region 的寻址入口；
3.  实时监控 Region Server 的状态，将 Region Server 的上线和下线信息实时通知给 Master；
4.  存储 HBase 的 Schema，包括有哪些 Table，每个 Table 有哪些 Column Family 等信息。

### Master ###

1.  为 Region Server 分配 Region ；
2.  负责 Region Server 的负载均衡 ；
3.  发现失效的 Region Server 并重新分配其上的 Region；
4.  GFS 上的垃圾文件回收；
5.  处理 Schema 的更新请求。

### Region Server ###

1.  Region Server 负责维护 Master 分配给它的 Region ，并处理发送到 Region 上的 IO 请求；
2.  Region Server 负责切分在运行过程中变得过大的 Region。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 4]  
HBase 使用 ZooKeeper 作为分布式协调服务来维护集群中的服务器状态。 Zookeeper 负责维护可用服务列表，并提供服务故障通知等服务：

*  每个 Region Server 都会在 ZooKeeper 上创建一个临时节点，Master 通过 Zookeeper 的 Watcher 机制对节点进行监控，从而可以发现新加入的 Region Server 或故障退出的 Region Server；
 *  所有 Masters 会竞争性地在 Zookeeper 上创建同一个临时节点，由于 Zookeeper 只能有一个同名节点，所以必然只有一个 Master 能够创建成功，此时该 Master 就是主 Master，主 Master 会定期向 Zookeeper 发送心跳。备用 Masters 则通过 Watcher 机制对主 HMaster 所在节点进行监听；
 *  如果主 Master 未能定时发送心跳，则其持有的 Zookeeper 会话会过期，相应的临时节点也会被删除，这会触发定义在该节点上的 Watcher 事件，使得备用的 Master Servers 得到通知。所有备用的 Master Servers 在接到通知后，会再次去竞争性地创建临时节点，完成主 Master 的选举。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 5]

## 四、操作HBase ##

HBase提供了Java API，但相比于使用一行 SQL 就能实现数据查询，HBase 的 API 还是过于复杂。

### Phoenix ###

`Phoenix` 是 HBase 的开源 SQL 中间层，它允许你使用标准 JDBC 的方式来操作 HBase 上的数据。

`Phoenix` 的理念是 `we put sql SQL back in NOSQL`，即你可以使用标准的 SQL 就能完成对 HBase 上数据的操作。同时这也意味着你可以通过集成 `Spring Data JPA` 或 `Mybatis` 等常用的持久层框架来操作 HBase。

其次 `Phoenix` 的性能表现也非常优异，`Phoenix` 查询引擎会将 SQL 查询转换为一个或多个 HBase Scan，通过并行执行来生成标准的 JDBC 结果集。它通过直接使用 HBase API 以及协处理器和自定义过滤器，可以为小型数据查询提供毫秒级的性能，为千万行数据的查询提供秒级的性能。同时 Phoenix 还拥有二级索引等 HBase 不具备的特性，

因为以上的优点，所以 `Phoenix` 成为了 HBase 最优秀的 SQL 中间层。

## 五、Hbase 协处理器 ##

协处理器是属于`RegionServer`的，我们可以把业务处理代码给到协处理器，将从`Hbase`查询到的数据，经过处理之后，再返回给客户端，这样就可以大大减少**网络带宽**。

### 协处理器类型 ###

#### 1.Observer协处理器 ####

Observer 协处理器类似于关系型数据库中的触发器，当发生某些事件的时候这类协处理器会被 Server 端调用。通常可以用来实现下面功能：

*  **权限校验**：在执行 `Get` 或 `Put` 操作之前，您可以使用 `preGet` 或 `prePut` 方法检查权限；
 *  **完整性约束**： HBase 不支持关系型数据库中的外键功能，可以通过触发器在插入或者删除数据的时候，对关联的数据进行检查；
 *  **二级索引**： 可以使用协处理器来维护二级索引。

#### 2.Endpoint协处理器 ####

Endpoint 协处理器类似于关系型数据库中的存储过程。客户端可以调用 Endpoint 协处理器在服务端对数据进行处理，然后再返回。

以聚集操作为例，如果没有协处理器，当用户需要找出一张表中的最大数据，即 max 聚合操作，就必须进行全表扫描，然后在客户端上遍历扫描结果，这必然会加重了客户端处理数据的压力。利用 Coprocessor，用户可以将求最大值的代码部署到 HBase Server 端，HBase 将利用底层 cluster 的多个节点并发执行求最大值的操作。即在每个 Region 范围内执行求最大值的代码，将每个 Region 的最大值在 Region Server 端计算出来，仅仅将该 max 值返回给客户端。之后客户端只需要将每个 Region 的最大值进行比较而找到其中最大的值即可。

## 参考 ##

[https://github.com/heibaiying/BigData-Notes][https_github.com_heibaiying_BigData-Notes]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70]: /images/20220829/2962791f38f24576be8969f97f376584.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 1]: /images/20220829/bd6ce8479ed749ec9e77e697f1c550d4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 2]: /images/20220829/1ee6198f5edb48b3a55380cde2099e5f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 3]: /images/20220829/e740515cafba41c2b04bc480ba6a8beb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 4]: /images/20220829/4bcad96f4af7483881066258ea34da8e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg4OTg0MQ_size_16_color_FFFFFF_t_70 5]: /images/20220829/faf859b9996c4454872078be5e2089d8.png
[https_github.com_heibaiying_BigData-Notes]: https://github.com/heibaiying/BigData-Notes