HBase系列（一）、数据模型

冷不防 2022-12-05 10:27 232阅读 0赞

**目录**

简介

设计模型

逻辑结构

物理结构

--------------------

# 简介 #

HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase可在廉价服务器上搭建起大规模结构化存储集群。是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，因此可以容错地存储海量稀疏的数据。

HBase是一个开源的非关系型分布式数据库（NoSQL），它参考了谷歌的BigTable建模，使用Java语言进行实现。但是也有很多不同之处。比如：

<table> 
 <thead> 
  <tr> 
   <th>&nbsp;</th> 
   <th>Google BigTable</th> 
   <th style="width:161px;">Hadoop HBase</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td><strong>文件存储系统</strong></td> 
   <td>GFS</td> 
   <td style="width:161px;">HDFS</td> 
  </tr> 
  <tr> 
   <td><strong>计算引擎</strong></td> 
   <td>MAPREDUCE</td> 
   <td style="width:161px;">Hadoop MapReduce</td> 
  </tr> 
  <tr> 
   <td><strong>一致性协调服务</strong></td> 
   <td>Chubby</td> 
   <td style="width:161px;">Zookeeper</td> 
  </tr> 
 </tbody> 
</table>

# 设计模型 #

下面我们通过数据存储结构来了解一下HBase的各个组件，从逻辑上来看，HBase中的数据模型和RDBMS很类似，数据存储在一个二维表中，有行和列，但从物理存储上来看，HBase是以KV形式进行存储的，更像是一个multi-dimensional map。

# 逻辑结构 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70][]

*  **namespace（命名空间）**：类似数据库中的database，命名空间下可以有多个HBase 表。HBase 有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default 是用户默认使用的命名空间。
 *  **Region**：类似数据库的表，不同的是，Hbase定义表的时候只需要声明列族即可，不需要声明具体的列。这意味着，往 HBase 写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase 能够轻松应对字段变更的场景。同时，一个HBase表中可以有1~n个Region。
 *  **Row（行）**：HBase中每行数据都由一个 **RowKey（行键） **和多个 Column（列）组成，数据是按照 RowKey的字典顺序存储的（如：上图的row\_key10排在row\_key2前面），RowKey 的设计十分重要，查询数据时只能根据 RowKey 进行检索：
    
     *  指定rowkey查询
     *  指定rowkey区间查询
     *  全表扫描 
 *  **Column Family（列族）**：HBase 中的列被分组为列族。列族的所有列成员具有相同的前缀。例如 cf\_wyk:name,cf\_wyk:age 都是 cf\_wyk 列族的成员。冒号字符（:）从列族限定符中分隔列族。在物理上，同一列族内成员一起存储在文件系统上，因此建议所有同一列族内的成员具有相同的一般访问模式和大小特征。
 *  **Column（列）**：HBase 中的每个列都由 Column Family(列族)和 Column Qualifier（列限定符）进行限定，例如cf\_wyk:name,cf\_wyk:age。建表时，只需指明列族，而列限定符无需预先定义。
 *  **Store**：HBase表按照列族将同一列族内的数据存储在同一个文件夹内，按照Region将表进行横向切片，经过这两种切分之后得到的store就是真实存储数据的文件，该数据存储在HDFS内。
 *  **Cell：**由\{rowkey, column Family：column Qualifier, time Stamp\} 唯一确定的数据单元。cell 中的数据是没有类型的，全部以字节码形式存储。

**解读上图**：在hbase中namespace为default，表名为wyk\_csdn，有两个列族cf\_csdn,cf\_wyk，分别有下面几个列cf\_csdn:host,cf\_csdn:port,cf\_csdn:alias,cf\_wyk:name,cf\_wyk:age。有8条记录被分别放置在三个region内，且在每个region内是按照字典排序。

# 物理结构 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1][]

在上面介绍了数据是存储在storefile内的，下面我们来看一下storefile内存储了什么样的数据，如上图，其中Rowkey，列族（Column Family），列限定符（列），和值（Value）我们都知道是什么，剩下两个新面孔我们来看一下：

*  **Timestamp（时间戳）**：用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为数据写入 HBase 的时间。时间戳在HBase中是非常重要的一个指标。
 *  **Type（操作类型）**：对HBase数据进行增改操作时类型为Put，进行删除操作时该类型为Delete，进行查询操作不会产生数据修改，因此不会记录在数据内。

**解读上图**：该表中rowkey为row\_key8，列族为cf\_wyk的数据存储情况，其中在t1时间点新增了数据\{wyk7,26\}，在t2时间点修改age=27，在t3时间点修改age=28，虽然在storefile中age列存了三个记录，但在查询数据时只能查到age=28的结果，这就是因为时间戳t3是最新的，因此在查询数据时如果没有指定版本则只会返回最新版。

希望本文对你有帮助，请点个赞鼓励一下作者吧~ 谢谢！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70]: /images/20221123/faf5018f87a944e7a7c9ecc09012106b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dzZGMwNTIx_size_16_color_FFFFFF_t_70 1]: /images/20221123/0b27c41ace2e4d9ab5b3428a265374bd.png