五分钟轻松了解Hbase面向列的存储

爱被打了一巴掌 2022-09-11 15:17 158阅读 0赞

***说明：****从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为面向列的存储，请各位看官注意这一点。*

**行式存储**

传统的数据库是关系型的，且是按行来存储的。如下图：

![164b48a070cb87ca05fb857531574ddd.png][]

其中只有张三把一行数据填满了，李四王五赵六的行都没有填满。*因为这里的行结构是固定的，每一行都一样，即使你不用，也必须空到那里，而不能没有。*来一张形象的图：

![cad51f39df6ae432c1cb08fd07124d9f.png][]

*不管你坐或不坐，座位都在那里，不离不弃。*

**列式存储**

为了与传统的区别，新型数据库叫做非关系型数据库，是按列来存储的。如下图：

![78d2b3ac8d03bd6e231436b23b09ef78.png][]

初次看列式存储稍微有点懵，下面给出行存与列存的转换：

*原来张三的一列（单元格）数据对应现在张三的一行数据。原来张三的六列数据变成了现在的六行。*

*原来的六列数据是在一行，所以共用一个主键（即张三）。现在变成了六行，每行都需要一个主键（不然不知道这行数据是谁的），所以原来的主键（即张三）重复了六次。*如下图：

![0e2905e22fb28944b607d484e2702ea6.png][]

由于原来的列变为了现在的行，*有需要就加一行，没需要就不加*，不会造成空间浪费。来一张形象的图：

![7e39e4d5c4e8833d2cf857823a90d0f7.png][]

（摆渡车内部就是一个大平板）

*你要站便站，我给你空间，你不站便不站，还给我空间。*

**行列对比**

① 行式存储倾向于结构固定，列式存储倾向于结构弱化。

（*行式存储相当于套餐，即使一个人来了也给你上八菜一汤，造成浪费；列式存储相等于自助餐，按需自取，人少了也不浪费*）

② 行式存储一行数据只需一份主键，列式存储一行数据需要多份主键。

③ 行式存储存的都是业务数据，列式存储除了业务数据外，还要存储列名。

④ 行式存储更像一个Java Bean，所有字段都提前定义好，且不能改变；列式存储更像一个Map，不提前定义，随意往里添加key/value。

**官方介绍**

Apache Hbase是Hadoop数据库，一个分布式、可扩展、大数据存储。

当你需要随机地实时读写大数据时使用Hbase。它的目标是管理超级大表-数十亿行X数百万列。

Hbase是一个开源的、分布式的、带版本的、非关系型数据库，模仿谷歌的BigTable。BigTable使用Google File System作为分布式数据存储，同理Hbase使用HDFS。

**Hbase世界**

Hbase虽然弱化了结构，但并不等于放任不管。传统关系型数据库在插入数据前表结构（即所有列和列的数据类型）已经是严格确定的。

Hbase的表在放入数据前也有需要确定下来的东西，那就是**Column Family**（常译为列族/列簇）。单词Family就是家庭的意思，所以列族就是列的家庭。那么列自然就是家庭成员了，通常家庭成员都有多个，所以一个列族包含多个列。

一个家庭的成员之间具有血缘关系，所以一个列族的多个列之间通常也具有某种关系，比如相似或同种类别。所以列族可以看作是某种分类（归类）。

一个非常常见的例子，去面试的时候，一般前台MM都会让填一张表，通常信息很多，每个公司又不尽相同。但大致可以分三类：人员基本信息，教育经历信息，工作经历信息，这三个类别其实就相当于三个列族。如下图：

![2a4ad04584924653a94a571ecda72861.png][]

每个类别里都会有具体的信息，比如人员基本信息里有姓名、电话、出生年月等，它们就相当于一个个标识符（变量名），在Hbase中叫做**Column Qualifier**（列修饰符）。列修饰符位于列族里面用来标识一条条数据。如下图：

![8566bfe96fac83aa50304adc8cf0a94f.png][]

在Hbase中一个列族（Column Family）和一个列修饰符（Column Qualifier）组合起来才叫一个列（**Column**），使用冒号（**:**）分割，列族**:**列修饰符，如下图：

![9f3f1ba65b2327071aba9f1010ca2463.png][]

在传统数据库中每一行的唯一标识符叫做主键，在Hbase中叫做**row key**（行键）。如下图：

![d43c47ff42b3b4a9ae62c477f4e04ce2.png][]

数据在进入Hbase时都会被打上一个时间戳，这个时间戳可以作为版本号来使用。

*在t1时间我存入一个人的基本信息，之后发现姓名错了，在t2时间又更新了姓名，此时并不会去更新原来的那条数据，而是又插入了一条新数据且打上新的时间戳。*

*此时去查询获取的是新数据，仿佛是更新了，但其实只是默认返回了最新版本的数据而已。*如下图：

![8fca0ca7da90159dafc7e840bf5b18d3.png][]

一个行键、列族、列修饰符、数据和时间戳组合起来叫做一个单元格（**Cell**）。这里的行键、列族、列修饰符和时间戳其实可以看作是定位属性（类似坐标），最终确定了一个数据。下图中的一行相等于Hbase中的一个单元格：

![60e81a730dda2d71c1310769d0120d10.png][]

一个行键、一到多列（包括数据）组合起来叫做一行（**Row**）。下图中所有1001的数据合起来相当于Hbase中的一行，1002的相当于另一行：

![8b7d2813e9c89cc46e8ba0b7da66a921.png][]

在Hbase中，只要确定了列族（*具体的列不用管*），表（**Table**）就确定了。如下图：

![cca928ae209d41a70dd856ff1b6b748a.png][]

**官方文档中提醒****：**把传统数据库中的表/行/列的概念用在Hbase中*不是一个有帮助*的类比。相反可以把Hbase的表想象成一个多（两）维Map（Map套Map）。*列族是第一维，列修饰符是第二维*。

**说明：**任何细微的差别在大数量时都会被无限放大，那么列族和列修饰符的名字起的短一些能够节省*可观的*空间。

文章来源：[https://www.cnblogs.com/lixinjie/p/five-minutes-glance-at-hbase.html][https_www.cnblogs.com_lixinjie_p_five-minutes-glance-at-hbase.html]

[164b48a070cb87ca05fb857531574ddd.png]: /images/20220828/0b89ceb5f6084db79e6acbbb1fc93761.png
[cad51f39df6ae432c1cb08fd07124d9f.png]: /images/20220828/e9504906f80643cca2951cb32a1d9da5.png
[78d2b3ac8d03bd6e231436b23b09ef78.png]: /images/20220828/fc0e3b41279947b5a76272cb83a6e860.png
[0e2905e22fb28944b607d484e2702ea6.png]: /images/20220828/8355e81ec0ab46429d274548f8292746.png
[7e39e4d5c4e8833d2cf857823a90d0f7.png]: /images/20220828/09387f969101419e8303e3313e53ff6c.png
[2a4ad04584924653a94a571ecda72861.png]: /images/20220828/29b2c702998945d2a1dea7913f445d6b.png
[8566bfe96fac83aa50304adc8cf0a94f.png]: /images/20220828/1d7763b848af4017b9ee2b8984078f03.png
[9f3f1ba65b2327071aba9f1010ca2463.png]: /images/20220828/2e2973a3270a41d9bbc52780c9e90130.png
[d43c47ff42b3b4a9ae62c477f4e04ce2.png]: /images/20220828/48fa3b0389544abeaea596f9c0275ace.png
[8fca0ca7da90159dafc7e840bf5b18d3.png]: /images/20220828/085bc66b3b5044188d9fdbc030f78737.png
[60e81a730dda2d71c1310769d0120d10.png]: /images/20220828/56f17354ebc14b0db3363384b55aa24f.png
[8b7d2813e9c89cc46e8ba0b7da66a921.png]: /images/20220828/ee5bb6bb1a554224a096a398c7bd9979.png
[cca928ae209d41a70dd856ff1b6b748a.png]: /images/20220828/4bbb794f4594402bac397d1317b06b97.png
[https_www.cnblogs.com_lixinjie_p_five-minutes-glance-at-hbase.html]: https://www.cnblogs.com/lixinjie/p/five-minutes-glance-at-hbase.html