hadoop实践（七）：hbase伪分布式部署

深碍√TFBOYSˉ_ 2022-09-21 13:06 235阅读 0赞

HBase的安装对应与hadoop的三种版本，也有单机版和伪分布式、全分布式三种方式。 全分布式采用一组zookeeper来进行保持集群软件之间的一致性，具体在下一节说明。  
  
一、目标  
   在伪分布式发布的hadoop主机上，安装配置hbase，并验证可用性  
  
  
二、准备  
   1） 环境说明：    
      主机： linux虚拟机centos6.5  
      hadoop： hadoop2.6.4伪分布式发布  
      hbase： 准备安装的版本为 1.0.3

下载地址：http://mirrors.cnnic.cn/apache/hbase/

![Center][]

![Center 1][]

2） hbase版本说明：   
   hbase与hadoop有对应关系，以下对应关系是从网上收集前人的成果，网址为：http://www.chinahadoop.cn/group/5/thread/1027

> hadoop与HBase版本对应关系:  
>  Hbase          Hadoop  
>  0.92.0   1.0.0  
>  0.92.1   1.0.0  
>  0.92.2   1.0.3  
>  0.94.0   1.0.2  
>  0.94.1   1.0.3  
>  0.94.2   1.0.3  
>  0.94.3   1.0.4  
>  0.94.4   1.0.4  
>  0.94.5   1.0.4  
>  0.94.9   1.2.0  
>  0.95.0   1.2.0

> >   
> > 
> 
> hadoop1.2+hbase0.95.0+hive0.11.0 会产生hbase+hive的不兼容，创建hive+hbase的关联表就会报pair对异常。  
> 
> 
> hadoop1.2+hbase0.94.9+hive0.10.0 没问题，解决了上个版本的不兼容问题。
> 
> ![Center 2][]  
>

三、安装Hbase

1、 解压hbase-1.1.0.1-bin.tar.gz

>          将gz文件用gzip解压，用tar将tar格式解压
> 
>     [hadoop@master soft]$ ls  -ltr
>     total 101420
>     -rw-rw-r-- 1 hadoop hadoop 103847513 Jun 20  2016 hbase-1.0.3-bin.tar.gz
>     [hadoop@master soft]$ 
>     [hadoop@master soft]$ 
>     [hadoop@master soft]$ 
>     [hadoop@master soft]$ gzip -d hbase-1.0.3-bin.tar.gz
>     [hadoop@master soft]$ 
>     [hadoop@master soft]$ ls  -ltr
>     total 390916
>     -rw-rw-r-- 1 hadoop hadoop 400291840 Jun 20  2016 hbase-1.0.3-bin.tar
>     [hadoop@master soft]$ 
>     [hadoop@master soft]$  tar -vxf hbase-1.0.3-bin.tar
> 
>   
>   
> 
> 
>   
>

2、 将hbase添加到环境变量中  
  切换到root用户

vi /etc/profile  在最后面添加如下代码：

export HBASE_HOME=/opt/hadoop/hbase-1.0.3
         export PATH=$HBASE_HOME/bin:$PATH

>   
>

使其生效： \[root@master opt\]\# source  /etc/profile

切换到hadoop用户，使用set命令可以查看已经生效。  
  
  
3、修改配置文件  
    1） 进入到/opt/hadoop/hbase-1.0.3/conf 目录，修改hbase-env.sh  
     找到下面项目，修改如下

>     export JAVA_HOME=/usr/java/jdk1.7.0_80
>     export HBASE_CLASSPATH=/opt/hadoop/hbase-1.0.3/conf
>     export HBASE_MANAGES_ZK=true
> 
>   
> 说明：伪分布式部署，由自己管理一致性，在完全分布式下， HBASE\_MANAGES\_ZK 是zookeeper管理，配置为false

2） 修改hbase-site.xml

<property>
          <name>hbase.rootdir</name>
         <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

说明：  
<value>hdfs://master:9000/hbase</value>  
此属性中的master是本机的hostname。要根据自己的hadoop的配置信息进行相应的修改  
  
2、运行HBase

启动HBase：

>     <span style="font-size:14px;">[hadoop@master bin]$ start-hbase.sh 
>     localhost: starting zookeeper, logging to /opt/hadoop/hbase-1.0.3/bin/../logs/hbase-hadoop-zookeeper-master.out
>     starting master, logging to /opt/hadoop/hbase-1.0.3/logs/hbase-hadoop-master-master.out
>     starting regionserver, logging to /opt/hadoop/hbase-1.0.3/logs/hbase-hadoop-1-regionserver-master.out
>     [hadoop@master bin]$ 
>     [hadoop@master bin]$ 
>     [hadoop@master bin]$ </span>
> 
>   
>   
>

检查进程：

>     [hadoop@master bin]$ jps
>     14914 NameNode
>     24756 Jps
>     24406 HRegionServer
>     15195 SecondaryNameNode
>     15445 NodeManager
>     15009 DataNode
>     24223 HQuorumPeer
>     24283 HMaster
>     15348 ResourceManager
> 
>   
> 比hadoop之前的内容，多了 HRegionServer，HQuorumPeer，HMaster

验证hbase： 执行hbase shell

>     [hadoop@master bin]$  hbase shell
>     SLF4J: Class path contains multiple SLF4J bindings.
>     SLF4J: Found binding in [jar:file:/opt/hadoop/hbase-1.0.3/lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class]
>     SLF4J: Found binding in [jar:file:/opt/hadoop/hadoop-2.6.4/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
>     SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
>     SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
>     HBase Shell; enter 'help<RETURN>' for list of supported commands.
>     Type "exit<RETURN>" to leave the HBase Shell
>     Version 1.0.3, rf1e1312f9790a7c40f6a4b5a1bab2ea1dd559890, Tue Jan 19 19:26:53 PST 2016
>     
>     
>     hbase(main):001:0> 
>     hbase(main):002:0* 
>     hbase(main):003:0* 
>     hbase(main):004:0* quit
>     [hadoop@master bin]$
> 
>   
> 上述过程是本机验证，网上有人遇到hbase和hadoop不匹配报错，附上解决办法：

> 替换Hbase中的jar包
> 
> 需 要用\{HADOOP\_HOME\}下的hadoop-0.20.2-core.jar 替换掉\{HBASE\_HOME\}/lib目录下的hadoop-core-0.20-append-r1056497.jar 。如果不替换jar文件Hbase启动时会因为hadoop和Hbase的客户端协议不一致而导致HMaster启动异常。报错如下：
> 
> localhost: Exception in thread "main" org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 42, server = 41)
> 
> 所以如果遇到以上错误，就通过替换jar包解决。
> 
>   
> 
> 
>  
> 
>   
>

[Center]: /images/20220721/c69a4846b0144d1c8b77738ed95b8dcd.png
[Center 1]: /images/20220721/ba6adb52fb5e4595a1223ea3bd5cd4f9.png
[Center 2]: /images/20220721/ad8445d5c0cf4d43b81532bfb6d49b6b.png