HBase 预分区

港控/mmm° 2022-11-27 08:55 225阅读 0赞

HBase 提供了预分区功能，即用户可以在创建表的时候对表按照一定的规则分区

--------------------

### 前言 ###

HBase 存在热点问题。热点问题首选解决方法是 Rowkey 的散列与预分区设计

Rowkey 散列可以参看[HBase Rowkey 设计指南][HBase Rowkey]

### 概念： ###

HBase表被创建时，只有1个Region，当一个Region过大达到默认的阈值时（默认10GB大小）,HBase中该Region将会进行split，分裂为2个Region，以此类推。

表在进行split的时候，会耗费大量的资源，频繁的分区对HBase的性能有巨大的影响。

所以，HBase提供了预分区功能，即用户可以在创建表的时候对表按照一定的规则分区。

作用：

避免HBase经常split，产生不必要的资源消耗，提高HBase的性能。

### 方法 ###

shell

通过 HBase shell 来创建

在命令中指定分区的 Rowkey

create 't1', 'f1', SPLITS => ['10', '20', '30', '40']
    
    create 't1', {NAME =>'f1', TTL => 180}, SPLITS => ['10', '20', '30', '40']
    
    create 't1', {NAME =>'f1', TTL => 180}, {NAME => 'f2', TTL => 240}, SPLITS => ['10', '20', '30', '40']

还可以通过 HBase shell 指定文件来创建

在任意路径下创建一个保存分区 key 的文件，一行代表一个 Rowkey

create 't1', 'f1', SPLITS_FILE => '/home/hadmin/hbase-1.3.1/txt/splits.txt'
    
    create 't1', {NAME =>'f1', TTL => 180}, SPLITS_FILE => '/home/hadmin/hbase-1.3.1/txt/splits.txt'
    
    create 't1', {NAME =>'f1', TTL => 180}, {NAME => 'f2', TTL => 240}, SPLITS_FILE => '/home/hadmin/hbase-1.3.1/txt/splits.txt'

通过 HBase 自带三种 pre-split 的算法，分别是 `HexStringSplit`、`DecimalStringSplit` 和 `UniformSplit`

各种Split算法适用场景

*  HexStringSplit: rowkey是十六进制的字符串作为前缀的。[HexStringSplit预分区表][HexStringSplit]
 *  DecimalStringSplit: rowkey是10进制数字字符串作为前缀的
 *  UniformSplit: rowkey前缀完全随机

package api;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.hbase.HBaseConfiguration;
    import org.apache.hadoop.hbase.HColumnDescriptor;
    import org.apache.hadoop.hbase.HTableDescriptor;
    import org.apache.hadoop.hbase.TableName;
    import org.apache.hadoop.hbase.client.Admin;
    import org.apache.hadoop.hbase.client.Connection;
    import org.apache.hadoop.hbase.client.ConnectionFactory;
    import org.apache.hadoop.hbase.util.Bytes;
    
    public class create_table_sample2 {
        public static void main(String[] args) throws Exception {
            Configuration conf = HBaseConfiguration.create();
            conf.set("hbase.zookeeper.quorum", "192.168.1.80,192.168.1.81,192.168.1.82");
            Connection connection = ConnectionFactory.createConnection(conf);
            Admin admin = connection.getAdmin();
    
            TableName table_name = TableName.valueOf("TEST1");
            if (admin.tableExists(table_name)) {
                admin.disableTable(table_name);
                admin.deleteTable(table_name);
            }
    
            HTableDescriptor desc = new HTableDescriptor(table_name);
            HColumnDescriptor family1 = new HColumnDescriptor(constants.COLUMN_FAMILY_DF.getBytes());
            family1.setTimeToLive(3 * 60 * 60 * 24);     //过期时间
            family1.setMaxVersions(3);                   //版本数
            desc.addFamily(family1);
    
            byte[][] splitKeys = {
                Bytes.toBytes("row01"),
                Bytes.toBytes("row02")
            };
    
            admin.createTable(desc, splitKeys);
            admin.close();
            connection.close();
        }
    }

文章来源：[https://lihuimintu.github.io/2019/08/09/HBase-Prepartition/][https_lihuimintu.github.io_2019_08_09_HBase-Prepartition]

[HBase Rowkey]: https://lihuimintu.github.io/2019/08/07/HBase-Rowkey/
[HexStringSplit]: https://www.jianshu.com/p/d67a58eed1f1
[https_lihuimintu.github.io_2019_08_09_HBase-Prepartition]: https://lihuimintu.github.io/2019/08/09/HBase-Prepartition/