HBase-2.HBase 的体系结构、行键、列族设计

朴灿烈づ我的快乐病毒、 2022-05-22 23:42 244阅读 0赞

## HBase-2.HBase 的体系结构、行键、列族设计    ##

## HBase体系结构 ##

**l  Client**

-包含访问HBase接口并维护cache来加快对HBase的访问

**l  ZooKeeper**

\-保障任务时候，仅有一个Master节点

\-存储Region的寻址入口

\-实时监控RegionServer的上线和下线信息。并实时通知Master

\-存储HBase的schema和table的元数据信息，通过ls /hbase可以查看

**l  Master（不存在单点问题，通过ZK提供主从备份）**

\-为RegionServer分配region

\-负责RegionoServer的负载均衡

\-发现失效的RegionServer并重新分配其上的的Region

\-管理用户对table的操作

**l  RegionServer**

\-维护region，处理对这些region的I/O操作

\-负责切分在运行过程中变得过大的region

## HBase行键设计原则（4） ##

写入要分散，减少region的热点问题。

例如： 历史交易订单，一般生成的订单号都是通过时间戳+随机的4位数字组成，可以让订单号倒序。这样rowkey是订单号的倒序存储，减少集中存储到某个region。

例如：用户上网流量存储到Hbase，一般是让手机号作为hbase的rowkey。由于手机号的后四位是随机的。可以让手机号倒序排序作为hbase的rowkey。

参考淘宝HBase使用方案

<table style="border-spacing:0px;width:851.25px;"> 
 <tbody> 
  <tr> 
   <td style="margin:0px;"><p>https://wenku.baidu.com/view/6e8472367fd5360cba1adb68.html</p></td> 
  </tr> 
 </tbody> 
</table>

思考问题：

直接将时间戳作为行健， 在写入单个 region 时候会发生热点问题，为什么？

回答： 直接使用时间戳会引发单个region的热点问题。

HBase的rowkey在底层是HFile存储数据的，以<K，V>键值对存放到SortedMap中。并且region中的rowkey是有序存储，若时间比较集中。就会存储到一个region中，这样一个region的数据变多，其它的region数据很好，加载数据就会很慢。直到region分裂可以解决。

## HBase列族设计原则（3） ##

（1）一般不建议设计多个列族。具体原因如下

假如HBase表的表设置两个两个列族，若已一个列族1000万行，另一个列族100行。当一个要求region分裂时候，会导致100行的列会同样分布到多个region中。这样就出现基数问题，会导致扫描列族A的性能低下。某个列族在flush的时候，它邻近的列族也会因关联效应出发flush，最终导致系统产生更多的I/O。

（2）数据块缓存配置

如果经常顺序访问或者很少访问，可以关闭列族的缓存，让BLOCKCACHE 参数设置false，列族缓存默认打开。

（3）激进缓存配置

可以选择一个列族赋予更高的缓存，该参数IN\_MEMORY 设置true。列族默认的关闭的。

（4）布隆过滤器（BLOOMFILTER）设置

减少硬盘读取数据带来的开销。对存储的数据块做反向测试，占用额外的空间。

（5）生产时间配置

超过这个时间设置的就会在下一次大合并中被删除。TTL =>"18000"

（6）列族压缩

压缩可以节省空间，读写数据会增加CPU的使用率 LZO，SNAPPY，GZIP

（7）单元时间版本

默认为1个版本，可以通过指定多个版本，来保存历史数据

参考: https://blog.csdn.net/shenfuli/article/details/50589437

发表评论取消回复

表情：

评论列表（有 0 条评论，244人围观）

还没有评论，来说两句吧...

相关阅读

相关 HBase最佳实践－列族设计优化

着大数据的越来越普及，HBase也变得越来越流行。会用HBase现在已经变的并不困难，然而，怎么把它用的更好却并不简单。那怎么定义‘用的好’呢？很简单，在保证系统稳定性、...

小灰灰/ 2024年04月17日 06:03/ 0 赞/ 84 阅读

相关 HBase数据模型：rowkey timestamp 列族 cell

rowkey：唯一标识一行记录 timestamp：时间戳，版本的概念，必须要给出时间戳，默认当前系统时间列族：一组列的集合 HBase能存储10亿级

刺骨的言语ヽ痛彻心扉/ 2023年10月02日 10:33/ 0 赞/ 16 阅读

相关 HBase 列族属性配置

一、创建表及属性查看创建一个测试表 test，列族为 cf： create 'test', {NAME => 'cf'} 默认属性如下： hbas

今天药忘吃喽~/ 2023年02月28日 08:52/ 0 赞/ 128 阅读

相关【HBase】列族属性详解

HBase Table 的每个列族都可以设置 VERSION，TTL、BLOOMFLTER 等很多属性； create 'test:user', {NAME => '

末蓝、/ 2023年01月11日 16:21/ 0 赞/ 209 阅读

相关 HBase 列族属性

一、创建表及属性查看创建一个测试表 test，列族为 cf： create 'test', { NAME => 'cf'} 默认属性如下： hba

- 日理万妓/ 2022年11月18日 01:51/ 0 赞/ 312 阅读

相关 HBase最佳实践－列族设计优化

问题导读： 1.BLOCKSIZE属性在不同场景下应该如何设置？ 2.COMPRESSION属性和DATA\_BLOCK\_ENCODING属性的区别是什么？ 3.Hba

冷不防/ 2022年06月14日 08:42/ 0 赞/ 263 阅读

相关 Hbase行键过滤器RowFilter

RowFilter是用来对rowkey进行过滤的,比较符如下: <table style="word-wrap:break-word; color:rgb(102

绝地灬酷狼/ 2022年06月12日 05:44/ 0 赞/ 238 阅读

相关 HBase 行键rowkey设计原则

1.行键应该尽可能短行键存在于HBase中的每一个单元格中。如果行键越长，用于存储单元格的I/O开销就会越大。通常我们采用MD5加密的定长键来代替行键 2.对于组合行键

素颜马尾好姑娘i/ 2022年06月02日 00:17/ 0 赞/ 317 阅读

相关 HBase-2.HBase 的体系结构、行键、列族设计

HBase-2.HBase 的体系结构、行键、列族设计 HBase体系结构 l Client -包含访问HBase接口并维护cache来加快对HBase

朴灿烈づ我的快乐病毒、/ 2022年05月22日 23:42/ 0 赞/ 245 阅读

相关 HBase列族高级配置

HBase有几个高级特性，在你设计表时可以使用。这些特性不一定联系到模式或行键设计，但是它们定义了某些方面的表行为。本节我们讨论这些配置参数，以及你可以如何使用它们。 1

Dear 丶/ 2021年11月16日 05:46/ 0 赞/ 451 阅读