深入浅出系列Hbase之原理及概念（1）

谁践踏了优雅 2023-02-20 06:46 121阅读 0赞

我们先来看看官网是如何介绍Hbase组件，其官网：[http://hbase.apache.org/][http_hbase.apache.org]

> [Apache][] HBase™是[Hadoop][]数据库，这是一个**分布式**，**可扩展**的大数据存储。
> 
> 当您需要对大数据进行**随机**，**实时的读/写访问**时，请使用Apache HBase™。该项目的目标是在商品硬件群集上托管超大型表-**数十亿行X数百万列**。Apache HBase是一个开源的，分布式的，版本化的，非关系型数据库，其仿照Google的[Bigtable：][Bigtable] Chang等人的“ [结构化数据][Bigtable]的[分布式存储系统][Bigtable] ”。正如Bigtable利用Google文件系统提供的分布式数据存储一样，Apache HBase在Hadoop和HDFS之上提供类似于Bigtable的功能。

关于特性：

>  *  线性和模块化可扩展性。
> 
>               注：Hbase的regionserver相当于Hadoop的DataNode，可以进行水平扩展
> 
>  *  严格一致的读写。
> 
>               注：不会发生脏数据的读或写的操作
> 
>  *  表的自动和可配置分片
>  *  RegionServer之间的自动故障转移支持。
>  *  方便的基类，用于通过Apache HBase表备份Hadoop MapReduce作业。
>  *  易于使用的Java API用于客户端访问。
> 
>               注：简单的API还是比较好些，但是很多的API是非常难写
> 
>  *  块缓存和Bloom过滤器用于实时查询。
> 
>               注：块缓存主要用于读的场景
> 
>  *  通过服务器端过滤器查询谓词下推
>  *  支持通过Hadoop指标子系统将指标导出到文件或Ganglia；或通过JMX

## 表: ##

1.  rowkey 每一条数据的主键
2.  column family 列族/簇 将表进行 横向切割 简称CF    生产上列族不要超多3个
3.  column 列 是属于一个列族
4.  version number 类型是long 默认是系统时间戳 用户也可以自定义
5.  value 列对应的值

直接把概念列在这，总感觉干巴巴的，那么接下来通过一张图来进一步的介绍

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 1][]

上面的图表示

> 1、一行row数据是可以包含一个或者多个CF（列族），但是并不推荐一张表设计时CF>3
> 
> 2、Column表示列，它是属于一个列族，一个CF是包含多个Column（列）的

## Region： ##

它是一段数据的集合，从数据的物理层面来说，所有的数据都是存放在region里的，而region是由RegionServer管理的。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 2][]

> 通过上图，我们可以清楚的知道 **一个RegionServer管理多个Region，一个Region又管理着一个或多个的CF**，而我们再结合之前的图，又明白**一个CF包含着多个Column**，至此对他们之间的关系又有了稍微清晰的认知。

OK，接下来继续看下面两张图

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 3][]

>     在数据的逻辑概念来说，表是按照rowkey范围进行划分为不同的region， 而region按照不同的列族划分不同的store,每个store中包含一个memstore和0个或多个storefile
> 
>     建表时默认只有一个region，如果指定split key，就会有多个region。 当表的行数超过阈值，表就水平分割2个region， 可以把region理解为子表。
> 
>     不同的region会被hmaster分配到合适的hregionserver来管理。比如一个表切分成很多的region，不代表很多的region只在一个机器节点上，假如一张表切分成3个region，有可能region1在第一台机器节点上，region2在第二台上，region3在第三台上，当select进行查询的时候，这样便可以充分利用三台机器的IO（磁盘/网络）。另外不同的Region是存储在不同的Store中的。
> 
>     大家也看到MemStore使用红色标注，这是hbase调优的重点，这里暂时先不说，后面会重点进行介绍。
> 
>     数据是以KV结构进行存储，每个KV只存储一个单元格的cell数据，而且不同的CF数据是存储在不同的File里

[http_hbase.apache.org]: http://hbase.apache.org/
[Apache]: https://www.apache.org/
[Hadoop]: https://hadoop.apache.org/
[Bigtable]: https://research.google.com/archive/bigtable.html
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200624103129433.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200624104053981.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200624110044200.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200624112944566.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA=,size_16,color_FFFFFF,t_70