Hadoop集群搭建及配置⑧——Hbase的安装配置

àì夳堔傛蜴生んèń 2022-11-07 11:37 234阅读 0赞

### Hbase的安装配置 ###

*   *  1.1 hbase介绍
     *  1.2 解压 Hbase 配置
     *   *   *  1.2.1 修改 hbase-env.sh
             *  1.2.2 修改 hbase-site.xml 文件
             *  1.2.3 修改 regionservers 文件
             *  1.2.5 拷贝、分发节点
             *  1.2.6 配置环境变量 Hbase（三个节点）
     *  1.3 Hbase 运行与测试
     *   *  补)：备份防止单点故障 （三个节点都要）

--------------------

掌握基础环境配置  
掌握hbase安装  
掌握运用hbase-shell

--------------------

[5、Hadoop集群搭建及配置③ —— 基础环境搭建][5_Hadoop_ _]

[6、Hadoop集群搭建及配置④ —— JDK简介及其安装][6_Hadoop_ _ JDK]

[7、Hadoop集群搭建及配置⑤ —— Zookeeper 讲解及安装][7_Hadoop_ _ Zookeeper]

[8、Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置][8_Hadoop_ _ Hadoop]

[9、Hadoop集群搭建及配置⑦—— Spark&Scala安装配置][9_Hadoop_ Spark_Scala]

[10、Hadoop集群搭建及配置⑧——Hbase的安装配置][10_Hadoop_Hbase]

[11、Hbase：交互式简单增删改][11_Hbase]

--------------------

## 1.1 hbase介绍 ##

HBase是一个分布式的、面向列、非关系型的开源数据库，该技术来源于Fay Chang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。

*  Hbase解决HDFS不能解决的问题。
 *  HDFS作为文件系统，数据存放上去之后，只能查询。
 *  Hbase可以进行增删改。

Hadoop是一个高容错、高延时的分布式文件系统和高并发的批处理系统，不适用于提供实时计算；  
HBase是可以提供实时计算的分布式数据库，数据被保存在HDFS分布式文件系统上。

HBase HRegion servers集群中的所有的region的数据在服务器启动时都是被打开的，相应的这就在一定程度上加快系统响 应；而Hadoop中的block中的数据文件默认是关闭的，只有在需要的时候才打开，处理完数据后就关闭，这在一定程度上就增加了响应时间。  
　　![在这里插入图片描述][20210311182709281.png]

--------------------

## 1.2 解压 Hbase 配置 ##

创建文件
    mkdir -p /usr/hbase
    
    解压文件
    tar -zxvf /home/master/Downloads/hbase-1.2.4-bin.tar.gz -C /usr/hbase

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]

#### 1.2.1 修改 hbase-env.sh ####

cd /usr/hbase/hbase-1.2.4/conf 进入hbase配置目录conf，修改配置文件hbase-env.sh，添加配置变量：

> **解释：** 一个分布式运行的Hbase依赖一个zookeeper集群。所有的节点和客户端都必须能够访问zookeeper。默认的情况下Hbase会管理一个zookeep集群。即Hbase默认自带一个zookeep集群。  
> 这个集群会随着Hbase的启动而启动。而在实际的商业项目中通常自己管理一个zookeeper集群更便于优化配置提高集群工作效率，但需要配置Hbase。需要修改conf/hbase-env.sh里面的 HBASE\_MANAGES\_ZK 来切换。这个值默认是true的，作用是让Hbase启动的时候同时也启动zookeeper.在本实验中，我们采用独立运行zookeeper集群的方式，故将其属性值改为false。

vi hbase-env.sh
    export HBASE_MANAGES_ZK=false
    export JAVA_HOME=/usr/java/jdk1.8.0_171
    export HBASE_CLASSPATH=/usr/hadoop/hadoop-2.7.3/etc/hadoop

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]

--------------------

#### 1.2.2 修改 hbase-site.xml 文件 ####

解释：要想运行完全分布式模式，加一个属性**hbase.cluster.distributed** 设置为 true 然后把 hbase.rootdir 设置为HDFS的NameNode的位置。

**hbase.rootdir**：这个目录是region server的共享目录，用来持久化Hbase。URL需要是’完全正确’的，还要包含文件系统的scheme。

**hbase.cluster.distributed ：** Hbase的运行模式。false是单机模式，true是分布式模式。若为false，Hbase和Zookeeper会运行在同一个JVM里面。

在**hbase-site.xml**配置**zookeeper**：当Hbase管理zookeeper的时候，你可以通过修改zoo.cfg来配置zookeeper，对于zookeepr的配置，你至少要在 hbase-site.xml中列出zookeepr的ensemble servers，具体的字段是 **hbase.zookeeper.quorum**. 在这里列出Zookeeper集群的地址列表，用逗号分割。（按自己节点名称）

**hbase.zookeeper.property.clientPort**：ZooKeeper的zoo.conf中的配置,客户端连接的端口（2181）。

**hbase.zookeeper.property.dataDir：** ZooKeeper的zoo.conf中的配置。对于独立的Zookeeper，要指明Zookeeper的host和端口。需要在 hbase-site.xml中设置。

--------------------

vi hbase-site.xml
    <property>
            <name>hbase.rootdir</name>
            <value>hdfs://master:8020/hbase</value>
            <description>这个目录是regin server的共享目录，用来持久化Hbase</description>
    </property>
    <property>
            <name>hbase.cluster.distributed</name>
            <value>true</value>
            <description>Hbase的运行模式。false是单机模式，true是分布式模式</description>
    </property>
    <property>
            <name>hbase.master</name>
            <value>hdfs://master:60000</value>
            <description>hmaster port</description>
    </property>
    
    <property>
            <name>hbase.zookeeper.quorum</name>
            <value>master,slave1,slave2</value>
            <description>zookeeper集群的URL配置，多个host中ian用逗号（,）分割</description>
    </property>
    
    <property>
            <name>hbase.zookeeper.property.dataDir</name>
            <value>/usr/zookeeper/zookeeper-3.4.10/zkdata</value>
            <description>zookeepe的zooconf中的配置，快照的存储位置</description>
    </property>
    
    <property>
     <name>hbase.zookeeper.property.clientPort</name>
      <value>2181</value>
    </property>
    <property>
      <name>hbase.master.info.port</name>
      <value>60010</value>
    </property>

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]  
设置完，保存退出。

--------------------

#### 1.2.3 修改 regionservers 文件 ####

regionservers 文件负责配置HBase集群中哪台节点作为RegionServer服务器。 删掉默认的 localhost，并添加想要运行 RegionServer 的节点名。将 slave1、slave2 作为 RegionServer 服务器。配置内容如下。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]

vi regionservers
    slave1
    slave2

#### 1.2.5 拷贝、分发节点 ####

hadoop配置文件拷入hbase的目录下
    cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml /usr/hbase/hbase-1.2.4/conf
    
    cp /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml /usr/hbase/hbase-1.2.4/conf
    
    分发文件到节点
    scp -r /usr/hbase root@slave1:/usr/
    scp -r /usr/hbase root@slave2:/usr/

![在这里插入图片描述][20210311191542609.png]

--------------------

#### 1.2.6 配置环境变量 Hbase（三个节点） ####

vi /etc/profile
    # set hbase environment
    export HBASE_HOME=/usr/hbase/hbase-1.2.4
    export PATH=$PATH:$HBASE_HOME/bin
    source /etc/profile

--------------------

## 1.3 Hbase 运行与测试 ##

在master上执行(保证hadoop和zookeeper已开启)：

# 开启zookeeper 
    cd /usr/zookeeper/zookeeper-3.4.10
    bin/zkServer.sh start
    bin/zkServer.sh status
    bin/zkServer.sh stop（关闭）
    
    # 开启hadoop 
    cd /usr/hadoop/hadoop-2.7.3
    sbin/start-all.sh	(master)
    
    sbin/start-dfs.sh 				#启动HDFS相关服务	sbin/stop-dfs.sh
    sbin/start-yarn.sh				#启动YARN相关服务
    sbin/mr-jobhistory-daemon.sh start historyserver	#启动日志相关服务JobHistoryServer
    
    sbin/stop-all.sh （关闭）
    
    # # 开启hbase 
    cd /usr/hbase/hbase-1.2.4/
    start-hbase.sh （master）
    
    hbase shell	（ /usr/hbase/hbase-1.2.4/ 目录下）

![start-hbase.sh][]  
**http://192.168.142.128:60010/**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]

--------------------

### 补)：备份防止单点故障 （三个节点都要） ###

为防止单点故障配置备用的主节点角色，具体如下：  
在 **/usr/hbase/hbase-1.2.4/conf** 目录下，创建backup-masters，添加 salve2，表示slave2为备用节点。

vi backup-masters
    slave2

:wq 保存退出。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]  
可以看到slave2 是作为备用HMaster。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]

--------------------

[5_Hadoop_ _]: https://blog.csdn.net/weixin_44775255/article/details/113755997
[6_Hadoop_ _ JDK]: https://blog.csdn.net/weixin_44775255/article/details/113771546
[7_Hadoop_ _ Zookeeper]: https://blog.csdn.net/weixin_44775255/article/details/113772666
[8_Hadoop_ _ Hadoop]: https://blog.csdn.net/weixin_44775255/article/details/113775449
[9_Hadoop_ Spark_Scala]: https://blog.csdn.net/weixin_44775255/article/details/114518207
[10_Hadoop_Hbase]: https://blog.csdn.net/weixin_44775255/article/details/114676669
[11_Hbase]: https://blog.csdn.net/weixin_44775255/article/details/117442965
[20210311182709281.png]: /images/20221023/c26f0b20392d41a0a43e506cc878d776.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]: /images/20221023/202c900aa58c4856a1836b6473998c38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]: /images/20221023/7b063a05c3dc4b3a87561afaf9e9fe8f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]: /images/20221023/029b11088c90474e9684678e07b21d09.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]: /images/20221023/cdbe7d4129fe4334a4c7f6c7a2fdf44c.png
[20210311191542609.png]: /images/20221023/9fa67439737b4ccb92c9aa48429ffc3c.png
[start-hbase.sh]: /images/20221023/4b2b7bc9eb8c45259cbbaaafb08c2dfe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]: /images/20221023/8f42bc8e28b44de89d65beb76d34afd0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]: /images/20221023/af3e21156f5948d795019cce6f9d9f57.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]: /images/20221023/fc108a07ad4f446091f5ea75fa978401.png