hbase 的shell操作中相关属性说明

系统管理员 2022-08-26 00:53 234阅读 0赞

Hbase 是一个分布式的、面向列的开源数据库，其实现是建立在google 的bigTable 理论之上，并基于hadoop HDFS文件系统。     Hbase不同于一般的关系型数据库(RDBMS)。是一种适用于非结构化数据存储的数据库，且Hbase是基于列的数据库。

下面的内容基于我们已经安装好hadoop、hbase。

一、hbase shell 介绍

hbase shell是用户和hbase 交互的接口之一，当然还可以通过其它方式比如java api等

下表列出了 hbase 基本命令操作：

<table style=""> 
 <tbody> 
 <tr> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:147pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; font-weight:700; border-left:rgb(0,0,0) 0.5pt solid"> 操作</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:353.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; font-weight:700; border-left:rgb(0,0,0) 0.5pt solid"> 命令表达式</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:269.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 注意 </td> 
 </tr> 
 <tr> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:147pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 创建表</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:353.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> create&nbsp;'table_name,&nbsp;'family1','family2','familyN'</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:269.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> </td> 
 </tr> 
 <tr> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:147pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 添加记录&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:353.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> put&nbsp;'table_name',&nbsp;'rowkey',&nbsp;'family:column',&nbsp;'value'</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:269.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> </td> 
 </tr> 
 <tr> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:147pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 查看记录</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:353.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> get&nbsp;'table_name',&nbsp;'rowkey'&nbsp;&nbsp;&nbsp;</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:269.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 查询单条记录，也是hbase&nbsp;最常用的命令</td> 
 </tr> 
 <tr> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:147pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 查看表中的记录总数</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:353.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> count&nbsp;&nbsp;'table_name'</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:269.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 这个命令并不快，且目前没有找到更快的方式统计行数</td> 
 </tr> 
 <tr> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:28.5pt; border-right:rgb(0,0,0) 0.5pt solid; width:147pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 删除记录</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:28.5pt; border-right:rgb(0,0,0) 0.5pt solid; width:353.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> delete&nbsp;'table_name'&nbsp;,'rowkey','family_name:column' deleteall&nbsp;'table_name','rowkey'</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:28.5pt; border-right:rgb(0,0,0) 0.5pt solid; width:269.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 第一种方式删除一条记录单列的数据 第二种方式删除整条记录</td> 
 </tr> 
 <tr> 
 <td> </td> 
 </tr> 
 <tr> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:28.5pt; border-right:rgb(0,0,0) 0.5pt solid; width:147pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 删除一张表</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:353.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 1、disable&nbsp;'table_name'&nbsp;</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:28.5pt; border-right:rgb(0,0,0) 0.5pt solid; width:269.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> </td> 
 </tr> 
 <tr> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:353.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 2、drop&nbsp;'table_name'</td> 
 </tr> 
 <tr> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:147pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> 查看所有记录</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:353.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> scan&nbsp;"table_name"&nbsp;,{LIMIT=&gt;10}</td> 
 <td style="border-top:rgb(0,0,0) 0.5pt solid; height:14.25pt; border-right:rgb(0,0,0) 0.5pt solid; width:269.25pt; vertical-align:middle; border-bottom:rgb(0,0,0) 0.5pt solid; border-left:rgb(0,0,0) 0.5pt solid"> LIMIT=&gt;10&nbsp;只返回10条记录，否则将全部展示</td> 
 </tr> 
 </tbody> 
</table>

利用上面基础命令可以完成基本的hbase 操作，下面几个shell 命令在后续的hbase 操作中可以起到很到的作用，且主要体现在建表的过程中，看下面几个create 属性

1、BLOOMFILTER  默认是NONE 是否使用布隆过虑 使用何种方式

布隆过滤可以每列族单独启用。使用 HColumnDescriptor.setBloomFilterType(NONE | ROW | ROWCOL) 对列族单独启用布隆。 Default = NONE 没有布隆过滤。对 ROW，行键的哈希在每次插入行时将被添加到布隆。对 ROWCOL，行键 + 列族 + 列族修饰的哈希将在每次插入行时添加到布隆

使用方法: create 'table',\{ BLOOMFILTER =>'ROW'\}

启用布隆过滤可以节省必须读磁盘过程，可以有助于改进读取延迟

2、VERSIONS 默认是3 这个参数的意思是数据保留三个 版本，如果我们认为我们的数据没有这么大的必要保留这么多，随时都在更新，而老版本的数据对我们毫无价值，那将此参数设为1 能节约2/3的空间

使用方法: create 'table',\{VERSIONS=>'2'\}

3、COMPRESSION 默认值是NONE 即不使用压缩

这个参数意思是该列族是否采用压缩，采用什么压缩算法

使用方法: create 'table',\{NAME=>'info',COMPRESSION=>'SNAPPY'\}

我建议采用SNAPPY压缩算法，个压缩算法的比较网上比较多，我从网上摘抄一个表格作为参考，具体的snappy 的安装后续会以单独章节进行描述。

这个表是Google几年前发布的一组测试数据，实际测试Snappy 和下表所列相差无几。

HBase中，在Snappy发布之前（Google 2011年对外发布Snappy），采用的LZO算法，目标是达到尽可能快的压缩和解压速度，同时减少对CPU的消耗；

在Snappy发布之后，建议采用Snappy算法（参考《HBase: The Definitive Guide》），具体可以根据实际情况对LZO和Snappy做过更详细的对比测试后再做选择。

<table style=""> 
 <tbody> 
 <tr> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> Algorithm</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> % remaining</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> Encoding</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> Decoding</td> 
 </tr> 
 <tr> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> GZIP</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> 13.4%</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> 21 MB/s</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> 118 MB/s</td> 
 </tr> 
 <tr> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> LZO</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> 20.5%</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> 135 MB/s</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> 410 MB/s</td> 
 </tr> 
 <tr> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> Zippy/Snappy</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> 22.2%</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> 172 MB/s</td> 
 <td style="border-top:rgb(192,192,192) 1px solid; border-right:rgb(192,192,192) 1px solid; border-collapse:collapse; border-bottom:rgb(192,192,192) 1px solid; word-break:normal!important; padding-bottom:3px; padding-top:3px; padding-left:3px; border-left:rgb(192,192,192) 1px solid; padding-right:3px"> 409 MB/s</td> 
 </tr> 
 </tbody> 
</table>

如果建表之初没有 压缩，后来想要加入压缩算法，怎么办 hbase 有另外的一个命令alter

4、alter

使用方法：

如 修改压缩算法

disable 'table'

alter 'table',\{NAME=>'info',COMPRESSION=>'snappy'\}

enable 'table'

删除列族

disable 'table'

alter 'table',\{NAME=>'info',METHOD=>'delete'\}

enable 'table'

但是这样修改之后发现表数据还是那么大，并没有发生多大变化。怎么办

major\_compact 'table' 命令之后 才会做实际的操作。

5、TTL 默认是 2147483647 即:Integer.MAX\_VALUE 值 大概是68年吧

这个参数是说明该列族数据的 存活时间 也就是数据的生命周期 单位是s 默写文章写的单位是ms　是错误的。

这个参数可以根据　具体的需求　对数据设定　存活时间，超过存过时间的数据将在表中不在显示，待下次major compact的时候再彻底删除数据

为什么在下次major compact的时候删除数据，后面会具体介绍到。

注意的是TTL设定之后 MIN\_VERSIONS=>'0' 这样设置之后，TTL时间戳过期后，将全部彻底删除该family 下所有的数据，如果MIN\_VERSIONS 不等于0 那将保留最新

的MIN\_VERSIONS个版本的数据，其它的全部删除，比如MIN\_VERSIONS=>'1' 届时将保留一个最新版本的数据，其它版本的数据将不再保存。

6、describe 'table' 这个命令查看了create table 的各项参数 或者是默认值。

7、disable\_all 'toplist.\*' disable\_all 支持正则表达式，并列出当前匹配的表的如下：

toplist\_a\_total\_1001

toplist\_a\_total\_1002                                                                                                                                                  
      toplist\_a\_total\_1008                                                                                                                                                  
      toplist\_a\_total\_1009                                                                                                                                                  
      toplist\_a\_total\_1019                                                                                                                                                  
      toplist\_a\_total\_1035

...

Disable the above 25 tables (y/n)? 并给出确认提示

8、drop\_all 这个命令和disable\_all的使用方式是一样的

9、hbase 表预分区 也就是手动分区

默认情况下，在创建HBase表的时候会自动创建一个region分区，当导入数据的时候，所有的HBase客户端都向这一个region写数据，直到这个region足够大了才进行切分。一种可以加快批量写入速度的方法是通过预先创建一些空的regions，这样当数据写入HBase时，会按照region分区情况，在集群内做数据的负载均衡。

使用方法:create 't1', 'f1', \{NUMREGIONS => 15, SPLITALGO => 'HexStringSplit'\}

也可以使用 api的方式

hbase org.apache.hadoop.hbase.util.RegionSplitter test\_table HexStringSplit -c 10 -f info

参数很容易看懂 test\_table  是表名 HexStringSplit 是split 方式 -c 是分10个region -f 是family

这样就可以将表预先分为10个区，减少数据达到storefile 大小的时候自动分区的时间消耗，并且还有以一个优势，就是合理设计rowkey 能让各个region 的并发请求 平均分配(趋于均匀) 使IO 效率达到最高，但是预分区需要将filesize 设置一个较大的值，设置哪个参数呢 hbase.hregion.max.filesize 这个值默认是10G 也就是说单个region 默认大小是10G

这个值发生从0.90 到0.92到0.94.3 从 256M--1G--10G 这个根据自己的需求将这个值修改。

但是如果MapReduce Input类型为TableInputFormat 使用hbase作为输入的时候，就要注意了，每个region一个map，如果数据小于10G 那只会启用一个map 造成很大的资源浪费，这时候可以考虑适当调小 该参数的值，或者采用预分配region 的方式，并将hbase.hregion.max.filesize 设为一个相对比较大的值，不容易达到的值比如1000G，检测如果达到这个值，再手动分配region。

前面说到了 compact 为什么设置了TTL 超过存活时间的数据 就消失了，是如何消失的呢？是删除了吗？通过哪些参数删除的。

后面将要说到 hbase compact

原文出自：[http://blog.csdn.net/zhouleilei/article/details/12654329][http_blog.csdn.net_zhouleilei_article_details_12654329]

[http_blog.csdn.net_zhouleilei_article_details_12654329]: http://blog.csdn.net/zhouleilei/article/details/12654329