大数据必学技能-HBase

╰+哭是因爲堅強的太久メ 2023-10-04 16:42 69阅读 0赞

## 大数据必学技能-HBase ##

### HBase 简介 ###

#### HBase 定义 ####

HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。

#### HBase 数据模型 ####

逻辑上，HBase 的数据模型同关系型数据库很类似，数据存储在一张表中，有行有列。但从 HBase 的底层物理存储结构（K-V）来看，HBase 更像是一个 multi-dimensional map。

##### HBase 逻辑 结构 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyOTI5MA_size_16_color_FFFFFF_t_70]

##### HBase 物理存储结构 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyOTI5MA_size_16_color_FFFFFF_t_70 1]

##### 数据模型 #####

**1 ） Name Space**

命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase有两个自带的命名空间，分别是 hbase 和 default，hbase 中存放的是 HBase 内置的表，default 表是用户默认使用的命名空间。

**2 ） Region**

类似于关系型数据库的表概念。不同的是，HBase 定义表时只需要声明列族即可，不需要声明具体的列。这意味着，往 HBase 写入数据时，字段可以动态、按需指定。因此，和关系型数据库相比，HBase 能够轻松应对字段变更的场景。

**3 ） Row**

HBase 表中的每行数据都由一个 RowKey 和多个 Column（列）组成，数据是按照 RowKey的字典顺序存储的， 并且查询数据时只能根据 RowKey 进行检索， 所以 RowKey 的设计十分重要。

**4 ） Column**

HBase 中的每个列都由 Column Family(列族)和 Column Qualifier（列限定符）进行限定，例如 info：name，info：age。建表时，只需指明列族，而列限定符无需预先定义。

**5 ） Time Stamp**

用于标识数据的不同版本（version），每条数据写入时，如果不指定时间戳，系统会自动为其加上该字段，其值为写入 HBase 的时间。

**6 ） Cell**

由\{rowkey, column Family：column Qualifier, time Stamp\} 唯一确定的单元。cell 中的数  
据是没有类型的，全部是字节码形式存贮。

#### HBase 基本 架构 ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyOTI5MA_size_16_color_FFFFFF_t_70 2]

##### 架构角色： #####

**1 ） Region Server**

Region Server 为 Region 的管理者，其实现类为 HRegionServer，主要作用如下: 对于数据的操作：get, put, delete；  
对于 Region 的操作：splitRegion、compactRegion。

2 ） Master

Master 是所有 Region Server 的管理者，其实现类为 HMaster，主要作用如下：  
对于表的操作：create, delete, alter  
对于RegionServer的操作： 分配regions到每个RegionServer， 监控每个RegionServer的状态，负载均衡和故障转移。

**3 ） Zookeeper**

HBase 通过 Zookeeper 来做 Master 的高可用、RegionServer 的监控、元数据的入口以及集群配置的维护等工作。

**4 ） HDFS**

HDFS 为 HBase 提供最终的底层数据存储服务，同时为 HBase 提供高可用的支持。

### HBase 快速入门 ###

#### HBase 安装 部署 ####

##### 安装HBase #####

HBase的安装之前要确定Hadoop和ZooKeeper的正常安装

HBase的官网：http://hbase.apache.org

将下载的hbase的tar包解压到相应的文件夹

##### 修改配置文件 #####

**1）hbase-env.sh 修改内容：**

export JAVA_HOME=/opt/module/jdk1.6.0_144 
    export HBASE_MANAGES_ZK=false

**2）hbase-site.xml 修改内容：**

<configuration> 
      <property> 
       <name>hbase.rootdir</name> 
       <value>hdfs://hadoop102:9000/HBase</value> 
      </property> 
    
      <property> 
       <name>hbase.cluster.distributed</name> 
       <value>true</value> 
      </property> 
    
        
      <property> 
       <name>hbase.master.port</name> 
       <value>16000</value> 
      </property> 
    
      <property>    
       <name>hbase.zookeeper.quorum</name> 
          <value>hadoop102,hadoop103,hadoop104</value> 
          </property> 
     
      <property>    
       <name>hbase.zookeeper.property.dataDir</name> 
          <value>/opt/module/zookeeper-3.4.10/zkData</value> 
      </property> 
    </configuration>

**3）regionservers：**

hadoop102 
    hadoop103 
    hadoop104

**4）软连接 hadoop 配置文件到 HBase：**

ln  -s  /opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml  /opt/module/hbase/conf/core-site.xml 
    
    ln  -s  /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml /opt/module/hbase/conf/hdfs-site.xml

然后将HBase发送到集群

#### HBase 服务的启动 ####

##### 启动方式一： #####

bin/hbase-daemon.sh start master 
    bin/hbase-daemon.sh start regionserver

**提示：如果集群之间的节点时间不同步，会导致 regionserver 无法启动，ClockOutOfSyncException 异常。**

##### 启动方式二： #####

bin/start-hbase.sh

对应的停止服务：

bin/stop-hbase.sh

#### 查看 HBase 页面 ####

启动成功后，可以通过“host:port”的方式来访问 HBase 管理页面，例如：

**http://hadoop102:16010**

#### HBase Shell 操作 ####

##### 基本操作 #####

**1 ．进入 HB ase 客户端命令行**

bin/hbase shell

**2 ．查看帮助命令**

hbase(main):001:0> help

**3 ．查看当前数据库中有哪些表**

hbase(main):002:0> list

##### 表的操作 #####

**1 ．创建表**

hbase(main):002:0> create 'student','info'

**2 ．插入数据到表**

hbase(main):003:0> put 'student','1001','info:sex','male' 
    hbase(main):004:0> put 'student','1001','info:age','18' 
    hbase(main):005:0> put 'student','1002','info:name','Janna' 
    hbase(main):006:0> put 'student','1002','info:sex','female' 
    hbase(main):007:0> put 'student','1002','info:age','20'

**3 ．扫描查看表数据**

hbase(main):008:0> scan 'student' 
    hbase(main):009:0> scan 'student',{
        STARTROW => '1001', STOPROW  => '1001'} 
    hbase(main):010:0> scan 'student',{
        STARTROW => '1001'}

**4 ．查看表结构**

hbase(main):011:0> describe ‘student’

**5 ．更新指定字段的数据**

hbase(main):012:0> put 'student','1001','info:name','Nick' 
    hbase(main):013:0> put 'student','1001','info:age','100'

**6 ．查看“指定行”或“指定列族: 列”的数据**

hbase(main):014:0> get 'student','1001' 
    hbase(main):015:0> get 'student','1001','info:name'

**7 ．统计表数据行数**

hbase(main):021:0> count 'student'

**8 ．删除数据**

删除某 rowkey 的全部数据：

hbase(main):016:0> deleteall 'student','1001'

删除某 rowkey 的某一列数据：

hbase(main):017:0> delete 'student','1002','info:sex'

**9 ．清空表数据**

hbase(main):018:0> truncate 'student'

提示：清空表的操作顺序为先 disable，然后再 truncate。

**10 ．删除表**

首先需要先让该表为 disable 状态：

hbase(main):019:0> disable 'student'

然后才能 drop 这个表：

hbase(main):020:0> drop 'student'

提示：如果直接 drop 表，会报错：ERROR: Table student is enabled. Disable it first.

**11 ．变更表信息**

将 info 列族中的数据存放 3 个版本：

hbase(main):022:0> alter 'student',{
        NAME=>'info',VERSIONS=>3} 
    hbase(main):022:0>  get 'student','1001',{
        COLUMN=>'info:name',VERSIONS=>3}

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyOTI5MA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/72f502cf707940e4b0b139ab6061b92e.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyOTI5MA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyOTI5MA_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/7d37b257a74a47d3b93827f6f9bd579e.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyOTI5MA==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyOTI5MA_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/c4c4fad313504e638e7fecbb1f079101.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NjQyOTI5MA==,size_16,color_FFFFFF,t_70