Hbase学习笔记(我太难了)

迷南。 2023-02-28 15:24 1阅读 0赞

## 什么是Hbase？ ##

HBase是一个高可靠性，高性能，面向列，可伸缩式的分布式存储系统

HBase的目标是存储并处理大型的数据(具体说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据)

## Hbase特点 ##

海量存储、

列式存储、

极易扩展(

基于上层处理能力的扩展(RegionServer)  
基于存储的扩展(HDFS)  
通过横向添加RegionServer机器，进行水平扩展，进行Hbase上层处理能力，即提升Hbase服务更多Region的能力)、

高并发(指并发情况下，单个io的延迟下降并不多)、

稀疏(列数据为空不会占用存储空间)

## HBase架构 ##

### Hbase物理架构 ###

Hbase采用Master/Slave架构

HMaster、RegionServer、Zookeeper、Hbase Client、Region

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KvaSxBSV-1595333610647)(…/…/…/…/Pictures/Typora/image-20200720094831309.png)\]

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PL9otZys-1595333610649)(…/…/…/…/Pictures/Typora/image-20200720102146869.png)\]

#### HMaster ####

Hmaster是Hbase集群的主节点，可配置多个，实现HA(高可用)

用于管理和分配Region

负责RegionServer的负载均衡

发现失效的RegionServer并重新分配其上的Region

#### RegionServer ####

负责管理维护Region

一个RegionServer包含一个WAL(*写日志用Hlog*)、一个BlockCache(读缓存)、多个Region

一个Region包含多个存储区(*store*)，每个存储区对应一个列簇

一个存储区由多个StoreFile和MemStore组成

HFile和WAL作为序列文件保存在HDFS上

Client与RegionServer交互

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g6GFuRMY-1595333610651)(…/…/…/…/Pictures/Typora/image-20200720095230125.png)\]

#### Region 和Table ####

单个Table(表)被分区成大小大致相同的Region

Region是Hbase集群分布数据的最小单位

Region被分配给集群中的RegionServer

一个Region只能分配给一个RegionServer

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-De8aeIph-1595333610653)(…/…/…/…/Pictures/Typora/image-20200720095315309.png)\]

### Hbase逻辑架构 ###

#### Row ####

Rowkey(行键)是唯一的并已排序

Schema可以定义合适插入记录

每个Row都可以定义自己的列，及时其他Row不使用(相关列定义为列族)

使用唯一时间戳维护多个Row版本(*Hbase表具有多版本*)

Hbase数据全部以字节存储

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-L6foS9r4-1595333610654)(…/…/…/…/Pictures/Typora/image-20200720101248534.png)\]

## Hbase元数据管理 ##

### 系统管理目录 ###

系统目录表hbase:meta:存储元数据等  
ZooKeeper存储hbase:meta表的位置信息

> Hbase实际数据存储在HDFS上

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LN3L4kLy-1595333610656)(…/…/…/…/Pictures/Typora/image-20200720172932651.png)\]

## HBase数据结构 ##

### row-key ###

### column family ###

### cell ###

### timestamp ###

### 命名空间 ###

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jkqOnxHC-1595333610657)(…/…/…/…/Pictures/Typora/clip\_image001.png)\]

Table：表，所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定，则在default默认的命名空间中。  
RegionServer group：一个命名空间包含了默认的RegionServer Group。  
Permission：权限，命名空间能够让我们来定义访问控制列表ACL（Access Control List）。例如，创建表，读取表，删除，更新等等操作。  
Quota：限额，可以强制一个命名空间可包含的region的数量。

## HBase原理 ##

### 读流程 ###

1.  client 访问zookeeper，从meta表中读取region的位置，然后读取meta表中的数据，meta表中存储了用户表的meta信息
2.  根据namespace、表名和rowkey在meta表中获取对应的region信息
3.  找到这个region对应的regionserver
4.  查找对应的region
5.  先从memstore找数据，如果没有，再到BlockCache里面读
6.  如果BlockCache也没有，再到storeFile上读(为了读取效率)
7.  从storefilel里读的数据，不是直接返回客户端，而是先写入blockcache，再返回客户端

### 写流程 ###

1.  client 发送请求给 zk集群 ，获取meta表所在的RS(RegionServer)
2.  zk集群 返回meta表所在的rs 给client
3.  client 向HRegionServer发送请求获取meta表
4.  HRegionServer 返回meta表数据给 client
5.  client 向HRegionServer发送写数据请求
6.  写入Hlog(WAL)
7.  将数据写入memstore
8.  反馈给client写入成功

\[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SEseUEMv-1595333610658)(…/…/…/…/Pictures/Typora/clip\_image002-1595237990123.png)\]

### 数据Flush过程 ###

1.  当memstore数据达到阀值(默认128M,老版本64M),将数据刷到硬盘，将内存中的数据删除，同时删除hlog中的历史数据
2.  将数据存储到hdfs中
3.  在hlog中做标记点

### 数据合并过程 ###

1.  当数据块达到4块，Hmaster触发合并操作，Region将数据块加载到本地，进行合并；
2.  当合并的数据超过256M，进行拆分，将拆分后的Region分配给不同的HregionServer管理；
3.  当HregionServer宕机后，将HregionServer上的hlog拆分，然后分配给不同的HregionServer加载，修改.META.(宕机后，hlog拆分后划分给其他rs)

> 注意：HLog会同步到HDFS。

## HBase API操作 ##

### 环境准备 ###

<dependency>
          <groupId>org.apache.hbase</groupId>
          <artifactId>hbase-client</artifactId>
          <version>1.2.0</version>
        </dependency>
        <dependency>
          <groupId>org.apache.hbase</groupId>
          <artifactId>hbase-common</artifactId>
          <version>1.2.0</version>
        </dependency>
        <dependency>
          <groupId>org.apache.hbase</groupId>
          <artifactId>hbase-server</artifactId>
          <version>1.2.0</version>
        </dependency>

### HBase API ###

#### 获取Configuration对象 ####

//1.创建配置
    	Configuration conf = HBaseConfiguration.create();
    	//配置zookeeper的集群和端口
    	conf.set("hbase.zookeeper.quorum","hadoop1");
    	conf.set("hbase.zookeeper.property.clientPort", "2181");

#### 创建表操作 ####

//创建表操作
        @Test
        public void createTable() throws IOException {
        
            //1.创建配置
            Configuration conf = HBaseConfiguration.create();
            //配置zookeeper的集群和端口
            conf.set("hbase.zookeeper.quorum","hadoop1");
            conf.set("hbase.zookeeper.property.clientPort", "2181");
            //2.创建连接
            Connection conn = ConnectionFactory.createConnection(conf);
    
    
            //2.创建admin
            Admin admin = conn.getAdmin();
            //4.创建表的描述信息
            HTableDescriptor student = new HTableDescriptor(TableName.valueOf("student"));
            //5.添加列簇
            student.addFamily(new HColumnDescriptor("info"));
            student.addFamily(new HColumnDescriptor("score"));
            //6.调用api进行建表操作
            admin.createTable(student);
        }

#### 判断表是否存在 ####

//判断表是否存在
        @Test
        public void isTableExists()throws IOException {
        
            //1.创建配置
            Configuration conf = HBaseConfiguration.create();
            //配置zookeeper的集群和端口
            conf.set("hbase.zookeeper.quorum","hadoop1");
            conf.set("hbase.zookeeper.property.clientPort", "2181");
            //2.创建连接
            Connection conn = ConnectionFactory.createConnection(conf);
            //3.创建admin
            Admin admin = conn.getAdmin();
            //4.调用api查看表是否存在
            System.out.println(admin.tableExists(TableName.valueOf("student")));
    
    
        }

#### 向表中插入数据 ####

//向表中插入数据
        @Test
        public void putDateTable() throws IOException {
        
            //1.创建配置
            Configuration conf = HBaseConfiguration.create();
            //配置zookeeper的集群和端口
            conf.set("hbase.zookeeper.quorum","hadoop1");
            conf.set("hbase.zookeeper.property.clientPort", "2181");
            //2.创建连接
            Connection conn = ConnectionFactory.createConnection(conf);
    
    
            //创建tablel类
            Table student = conn.getTable(TableName.valueOf("student"));
            //创建put类
            Put put = new Put(Bytes.toBytes("1001"));
            //5.向Put中添加 列簇，列名，值 注意：需要转化成字节数组
            put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("zhangsan"));
            student.put(put);
            student.close();
            System.out.println("插入数据成功");
    
        }

#### 查询单行数据 ####

@Test
    public void getDateFromTable() throws IOException {
        
        //1.创建配置
        Configuration conf = HBaseConfiguration.create();
        //配置zookeeper的集群和端口
        conf.set("hbase.zookeeper.quorum","hadoop1");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
        //2.创建连接
        Connection conn = ConnectionFactory.createConnection(conf);
        //创建tablel类
        Table student = conn.getTable(TableName.valueOf("student"));
        //创建get类
        Get get = new Get(Bytes.toBytes("1001"));
        //调用API进行获取数据
        Result result = student.get(get);
        //将返回的结果进行遍历输出
        Cell[] cells=result.rawCells();
        for (Cell cell : cells) {
        
            System.out.println("rowkey:" + Bytes.toString(CellUtil.cloneRow(cell)));
            System.out.println("clomfamily:" +Bytes.toString(CellUtil.cloneFamily(cell)));
            System.out.println("clomn:" +Bytes.toString(CellUtil.cloneQualifier(cell)));
            System.out.println("cell:" +Bytes.toString(CellUtil.cloneValue(cell)));
        }
    
    }

#### 获取所有数据 ####

//获取所有数据
    @Test
    public void getAllRows() throws IOException {
        
        Configuration conf = new Configuration();
        conf.set("hbase.zookeeper.quorum", "hadoop1");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
    
        Connection conn = ConnectionFactory.createConnection(conf);
        Table student = conn.getTable(TableName.valueOf("student"));
        //得到用于扫描的region对象
        Scan scan = new Scan();
        ResultScanner scanner = student.getScanner(scan);
        for (Result result : scanner) {
        
            Cell[] cells = result.rawCells();
            for (Cell cell : cells) {
        
                System.out.println("row-key"+Bytes.toString(CellUtil.cloneRow(cell)));
                System.out.println("family"+Bytes.toString(CellUtil.cloneFamily(cell)));
                System.out.println("colomn"+Bytes.toString(CellUtil.cloneQualifier(cell)));
                System.out.println("cell"+Bytes.toString(CellUtil.cloneValue(cell)));
            }
        }
        student.close();
    }

#### 获取某一行指定“列簇：列”的数据 ####

@Test
    public void getRow() throws IOException {
        
        Configuration conf = new Configuration();
        conf.set("hbase.zookeeper.quorum", "hadoop1");
        conf.set("hbase.zookeeper.property.clientPort", "2181");
    
        Connection conn = ConnectionFactory.createConnection(conf);
        Table student = conn.getTable(TableName.valueOf("student"));
        Get get = new Get(Bytes.toBytes("1001"));
        get.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"));
        Cell[] cells = student.get(get).rawCells();
        for (Cell cell : cells) {
        
            System.out.println("cell  "+Bytes.toString(CellUtil.cloneValue(cell)));
        }
        student.close();
    
    }

### MapReduce ###

通过HBase的相关API，可以实现伴随HBase操作的MapReduce过程，比如用MapReduce将数据从本地文件导入到Hbase表中，或将数据从Hbase表中读取出来使用MapReduce做数据分析

### REST API ###

#### 启动和停止rest服务 ####

# 启动rest服务
    bin/hbase-daemon.sh start rest -p 9081  #端口可自定义
    # 停止rest服务
    bin/hbase-daemon.sh stop rest -p 9081

### 操作示例 ###

http://localhost:9081/version
    http://localhost:9081/<table_name>/schema
    http://localhost:9081/<table_name>/<row_key>

### Phoenix ###

### HBase与Hive集成 ###

## HBase优化 ##

### 高可用 ###

Hmaster用于监控RegionServer的生命周期，均衡RegionServer的负载，管理分配Region，过于重要，挂掉对整个集群影响很大，所以Hbase支持对Hmaster的高可用配置

# 1.关闭HBase集群(如果已经开启的话)
    bin/stop-hbase.sh
    # 2.在conf目录下创建backup-masters文件
    touch conf/back-masters
    # 3.在backup-masters文件中配置高可用Hmaster节点
    echo hadoop2 > conf/backup-masters
    # 4.将整个conf目录scp到其他节点
    scp -r conf/ hadoop2:/opt/softs/hbase/
    # 5.打开页面查看
    192.168.164.180:16010

### 预分区 ###

每一个region维护着startRow与endRowKey，如果加入的数据符合某个region维护的rowKey范围，则该数据交给这个region维护。那么依照这个原则，我们可以将数据所要投放的分区提前大致的规划好，以提高HBase性能。(提前规划好region分区，提高性能)

1.  手动设定预分区  
    `create ‘table’,'column-family','row-key',SPLITS =>['1000','2000','3000']`
2.  生成16进制序列预分区  
    \`\`create ‘table’,‘column-family’,‘row-key’,\{NUMREGIONS => 15,SPLITALGO =>‘HexStringSplit’\}\`
3.  按照文件中设置的规则预分区  
    创建`split.txt`文件
    
        aaaa
        bbbb
        cccc
        dddd
    
    然后执行`create ‘table’,'row-key',SPLITS_FILE => ‘splits.txt'`
4.  使用JavaAPI创建预分区
    
        @Test
            public void createTable() throws IOException {
              
                //1.创建配置
                Configuration conf = HBaseConfiguration.create();
                //配置zookeeper的集群和端口
                conf.set("hbase.zookeeper.quorum","hadoop1");
                conf.set("hbase.zookeeper.property.clientPort", "2181");
                //2.创建连接
                Connection conn = ConnectionFactory.createConnection(conf);
        		bytes[][] splitsKeys = //某个散列值函数
                //3.创建admin
                Admin admin = conn.getAdmin();
                //4.创建表的描述信息
                HTableDescriptor student = new HTableDescriptor(TableName.valueOf("student"));
                //5.添加列簇
                student.addFamily(new HColumnDescriptor("info"));
                student.addFamily(new HColumnDescriptor("score"));
                //6.调用api进行建表操作
                admin.createTable(student，splitskeys);
            }

### RowKey设计 ###

数据存储在哪个预分区，取决于rowkey处在哪个预分区的区间，设计rowkey,为了让数据均匀分布在所有region上，一定程度上防止数据倾斜

1.  生成随机数，hash，散列值
2.  字符串反转(一定程度上散列逐步put进来的数据)
3.  字符串拼接
    
        20170524000001_a12e
        20170524000001_93i7

### 内存优化 ###

不建议分配非常大的堆内存，因为GC过程持续太久会导致RegionServer处于长期不可用状态

框架占用内存过高导致系统内存不足，框架一样会被系统服务拖死。

### 基础优化 ###

1.  允许在HDFS的文件中追加内容

hdfs-site.xml、hbase-site.xml

属性：dfs.support.append  
    解释：开启HDFS追加同步，可以优秀的配合HBase的数据同步和持久化。默认值为true。

1.  优化DataNode允许的最大文件打开数  
    hdfs-site.xml

属性：dfs.datanode.max.transfer.threads  
    解释：HBase一般都会同一时间操作大量的文件，根据集群的数量和规模以及数据动作，设置为4096或者更高。默认值：4096

1.  优化延迟高的数据操作的等待时间

hdfs-site.xml

属性：dfs.image.transfer.timeout  
    解释：如果对于某一次数据操作来讲，延迟非常高，socket需要等待更长的时间，建议把该值设置为更大的值（默认60000毫秒），以确保socket不会被timeout掉。

1.  优化数据的写入效率

mapred-site.xml

属性：mapreduce.map.output.compress  mapreduce.map.output.compress.codec  
    解释：开启这两个数据可以大大提高文件的写入效率，减少写入时间。第一个属性值修改为true，第二个属性值修改为:org.apache.hadoop.io.compress.GzipCodec或者其他压缩方式。

1.  设置RPC监听数量

hbase-site.xml

属性：hbase.regionserver.handler.count  
    解释：默认值为30，用于指定RPC监听的数量，可以根据客户端的请求数进行调整，读写请求较多时，增加此值。

1.  优化HStore文件大小

hbase-site.xml

属性：hbase.hregion.max.filesize  
    解释：默认值10737418240（10GB），如果需要运行HBase的MR任务，可以减小此值，因为一个region对应一个map任务，如果单个region过大，会导致map任务执行时间过长。该值的意思就是，如果HFile的大小达到这个数值，则这个region会被切分为两个Hfile。

1.  优化hbase客户端缓存

hbase-site.xml

属性：hbase.client.write.buffer  
    解释：用于指定HBase客户端缓存，增大该值可以减少RPC调用次数，但是会消耗更多内存，反之则反之。一般我们需要设定一定的缓存大小，以达到减少RPC次数的目的。

1.  指定scan.next扫描HBase所获取的行数

hbase-site.xml

属性：hbase.client.scanner.caching  
    解释：用于指定scan.next方法获取的默认行数，值越大，消耗内存越大。

1.  flush、compact、split机制

当MemStore达到阈值，将Memstore中的数据Flush进Storefile；compact机制则是把flush出来的小文件合并成大的Storefile文件。split则是当Region达到阈值，会把过大的Region一分为二。

> **涉及属性：**
> 
> 即：128M就是Memstore的默认阈值
> 
> `hbase.hregion.memstore.flush.size：134217728`
> 
> 即：这个参数的作用是当单个HRegion内所有的Memstore大小总和超过指定值时，flush该HRegion的所有memstore。RegionServer的flush是通过将请求添加一个队列，模拟生产消费模型来异步处理的。那这里就有一个问题，当队列来不及消费，产生大量积压请求时，可能会导致内存陡增，最坏的情况是触发OOM。
> 
> `hbase.regionserver.global.memstore.upperLimit：0.4`
> 
> `hbase.regionserver.global.memstore.lowerLimit：0.38`
> 
> 即：当MemStore使用内存总量达到hbase.regionserver.global.memstore.upperLimit指定值时，将会有多个MemStores flush到文件中，MemStore flush 顺序是按照大小降序执行的，直到刷新到MemStore使用内存略小于lowerLimit