走向云计算之HBase的基本原理和架构介绍

清疚 2022-06-14 08:57 313阅读 0赞

## 一、概述 ##

HBase是一个构建在HDFS上的分布式列存储系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。因为HDFS适合批处理场景，不支持数据随机查找，不适合增量数据处理，也不支持数据更新，而HBase的出现正好解决了HDFS不能解决的问题。  
下面一幅图是Hbase在Hadoop Ecosystem中的位置。  
![这里写图片描述][20170615165012959]

## 二、HBase表的特点 ##

*  大：一个表可以有数十亿行，上百万列；
 *  无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；
 *  面向列：面向列（族）的存储和权限控制，列（族）独立检索；
 *  稀疏：对于空（null）的列，并不占用存储空间，表可以设计的非常稀疏；
 *  数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳；
 *  数据类型单一：Hbase中的数据都是字符串，没有类型

HBase采用列存储形式。列存储不同于传统的关系型数据库（数据在表中是按行存储的），列方式所带来的重要好处之一就是，由于查询中的选择规则是通过列来定义的，因此整个数据库是自动索引化的。按列存储每个字段的数据聚集存储，在查询只需要少数几个字段的时候，能大大减少读取的数据量，一个字段的数据聚集存储，那就更容易为这种聚集存储设计更好的压缩/解压算法。下图讲述了传统的行存储和列存储的区别：  
![这里写图片描述][20170615165612165]

## 三、HBase的数据模型 ##

HBase是基于Google BigTable模型开发的，典型的key/value系统；  
![这里写图片描述][20170615170218917]  
HBASE中的每一张表，就是所谓的BigTable，一张稀疏表。RowKey 和 ColumnKey 是二进制值byte\[\]数组，按字典顺序排序；Column family是由若干个ColumnKey 组成的列簇;Timestamp 是一个 64 位整数，是一个时间戳；ColumnValue 是一个未解释的字节数组byte\[\]。表中的不同行可以拥有不同数量的成员。即支持“动态模式“模型。

### 1、逻辑视图 ###

![这里写图片描述][20170615171339777]

*  Row Key  
    与nosql数据库们一样,row key是用来检索记录的主键。访问hbase table中的行，只有三种方式：  
    （1）通过单个row key访问  
    （2） 通过row key的range  
    （3）全表扫描  
    Row key行键 (Row key)可以是任意字符串(最大长度是 64KB，实际应用中长度一般为 10-100bytes)，在hbase内部，row key保存为字节数组。存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分考虑排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)  
    **注意**：  
    字典序对int排序的结果是`1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99`如果要保持整形的自然序，行键必须用0作左填充。  
    行的一次读写是原子操作 (不论一次读写多少列)。这个设计决策能够使用户很容易的理解程序在对同一个行进行并发更新操作时的行为。
 *  列族（Column Family）  
    hbase表中的每个列，都归属与某个列族。列族是表的chema的一部分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如courses:history ， courses:math 都属于 courses 这个列族。  
    访问控制、磁盘和内存的使用统计都是在列族层面进行的。实际应用中，列族上的控制权限能帮助我们管理不同类型的应用：我们允许一些应用可以添加新的基本数据、一些应用可以读取基本数据并创建继承的列族、一些应用则只允许浏览数据（甚至可能因为隐私的原因不能浏览所有数据）。
 *  时间戳（Time Stamp）  
    HBase中通过row和columns确定的为一个存贮单元称为cell。每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是64位整型。时间戳可以由hbase(在数据写入时自动 )赋值，此时时间戳是精确到毫秒的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版本冲突，就必须自己生成具有唯一性的时间戳。每个cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，hbase提供了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。
 *  Cell  
    由`{row key, column( =<family> + <label>), version}` 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮，用户需要自行进行类型转换。
 *  支持的操作  
    HBase的所有操作均是基于rowkey的；  
    1、支持CRUD（Create、Read、Update和Delete）和Scan；  
    2、单行操作Put、Get、Scan  
    3、多行操作Scan、MultiPut  
    4、没有内置join操作，可使用MapReduce解决。

### 2、物理视图 ###

每个column family存储在HDFS上的一个单独文件中，空值不会被保存。Key 和 Version number在每个 column family中均有一份；  
HBase 为每个值维护了多级索引，即：`<key, column family, column name, timestamp>`，如下图所示：  
![这里写图片描述][20170615210343279]

*  物理存储:  
    1、Table中所有行都按照row key的字典序排列；  
    2、Table在行的方向上分割为多个Region；  
    ![这里写图片描述][20170615210516760]  
    3、Region按大小分割的，每个表开始只有一个region，随着数据增多，region不断增大，当增大到一个阀值的时候，region就会等分会两个新的region，之后会有越来越多的region；  
    ![这里写图片描述][20170615210549979]  
    4、Region是Hbase中分布式存储和负载均衡的最小单元，不同Region分布到不同RegionServer上。  
    ![这里写图片描述][20170615210706017]  
    5、Region虽然是分布式存储的最小单元，但并不是存储的最小单元。Region由一个或者多个Store组成，每个store保存一个columns family；每个Strore又由一个memStore和0至多个StoreFile组成，StoreFile包含HFile；memStore存储在内存中，StoreFile存储在HDFS上。  
    ![这里写图片描述][20170615210741434]

## 四、HBase的基本架构 ##

HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由如下类型节点组成：HMaster节点、HRegionServer节点、ZooKeeper集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下：  
![这里写图片描述][20170615211017802]

### 1、HMaster节点 ###

*  管理HRegionServer，实现其负载均衡。
 *  管理和分配HRegion，比如在HRegion split时分配新的HRegion；在HRegionServer退出时迁移其内的HRegion到其他HRegionServer上。
 *  实现DDL操作（Data Definition Language，namespace和table的增删改，column familiy的增删改等）。
 *  管理namespace和table的元数据（实际存储在HDFS上）。
 *  权限控制（ACL）。

### 2、HRegionServer节点 ###

*  存放和管理本地HRegion。
 *  读写HDFS，管理Table中的数据。

### 3、Client ###

*  包含访问HBase的接口，并维护cache来加快对HBase的访问。
 *  Client直接通过HRegionServer读写数据（从HMaster中获取元数据，找到RowKey所在的HRegion/HRegionServer后）。

### 4、ZooKeeper集群 ###

*  存放整个 HBase集群的元数据以及集群的状态信息。
 *  实现HMaster主从节点的failover。

### 5、HBase中系统表-ROOT-,.META ###

*  .META.：记录了用户表的Region信息，.META.可以有多个regoin
 *  \-ROOT-：记录了.META.表的Region信息，-ROOT-只有一个region
 *  Zookeeper中记录了-ROOT-表的location
 *  Client访问用户数据之前需要首先访问Zookeeper，然后访问-ROOT-表，接着访问.META.表，最后才能找到用户数据的位置去访问。  
    ![这里写图片描述][20170615211744610]

## 五、HBase的数据读写流程 ##

### 1、写数据 ###

*  zookeeper中存储了meta表的region信息，从meta表获取相应region信息，然后找到meta表的数据；
 *  根据namespace、表名和rowkey根据meta表的数据找到写入数据对应的region信息；
 *  找到对应的regionserver；
 *  把数据分别写到HLog和MemStore上一份；
 *  MemStore达到一个阈值后则把数据刷成一个StoreFile文件。若MemStore中的数据有丢失，则可以总HLog上恢复；
 *  当多个StoreFile文件达到一定的大小后，会触发Compact合并操作，合并为一个StoreFile，这里同时进行版本的合并和数据删除；
 *  当Compact后，逐步形成越来越大的StoreFIle后，会触发Split操作，把当前的StoreFile分成两个，这里相当于把一个大的region分割成两个region。如下图：  
    ![这里写图片描述][20170615213016391]

### 2、读数据 ###

*  Client先访问zookeeper，从meta表读取region的位置，然后读取meta表中的数据。meta中又存储了用户表的region信息；
 *  根据namespace、表名和rowkey在meta表中找到对应的region信息；
 *  找到这个region对应的regionserver；
 *  查找对应的region；
 *  先从MemStore找数据，如果没有，再到StoreFile上读(为了读取的效率)。

[20170615165012959]: /images/20220614/aaa3c5d59e414167bfabc35f1bce188a.png
[20170615165612165]: /images/20220614/b3f3bc8c74af45af95e0e574b79ad769.png
[20170615170218917]: /images/20220614/c201954c2b6a4bb1921944fea34b653c.png
[20170615171339777]: /images/20220614/9fb1a87d85594c4190b97a4296ea2440.png
[20170615210343279]: /images/20220614/02c288a5089349f18d8aa01c1e31a35c.png
[20170615210516760]: /images/20220614/2455ce8e1d354eaca66bf168e2b30a09.png
[20170615210549979]: /images/20220614/b7d86defb74047638c4fa7bfe403a06a.png
[20170615210706017]: /images/20220614/4eed44e5eba244759cea5b7947ad3540.png
[20170615210741434]: /images/20220614/5a5993fe98fc4e6e8b83e74e502b6de5.png
[20170615211017802]: /images/20220614/50a3684ee9894b5ba0e33c196e678d62.png
[20170615211744610]: /images/20220614/a4a2418eae4b40d592fb5ff3f89d22e1.png
[20170615213016391]: /images/20220614/7e85ff191db741258be429293e3174c9.png