python hbase API (一) thrift2环境准备

ゝ一纸荒年。 2022-03-26 06:42 566阅读 0赞

### 一、搭建hbase集群，安装thrift服务并启动 ###

安装步骤：[https://blog.csdn.net/qq\_21153619/article/details/82250725][https_blog.csdn.net_qq_21153619_article_details_82250725]

*  cd /usr/hdp/2.6.2.0-205/hbase/bin/
 *  ./hbase-common.sh start thrift

### 二、Thrift API  ###

在网上很多人说在hbase根目录下存在Hbase.thrift文件，但是我没有找到，没办法，只能去官网下载

[http://archive.apache.org/dist/hbase/1.1.2/][http_archive.apache.org_dist_hbase_1.1.2]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTUzNjE5_size_16_color_FFFFFF_t_70][]  
hbase-1.1.2-bin.tar.gz 这个文件，然后找到里面的hbase-thrift文件夹，解压出来，拷贝到任意目录，然后使用如下命令，生成python使用的Thrift API：

*  mkdir -p /usr/local/hbase
 *  tar -zxvf hbase-1.1.2-src.tar.gz 
 *  cd /usr/local/hbase/hbase-1.1.2/hbase-thrift/src/main/resources/org/apache/hadoop/hbase/thrift
 *  thrift –gen py Hbase.thrif

![2019011609281587.png][]  
然后把生成的gen-py文件夹下的hbase文件夹，拷贝到python的包路径下（/usr/local/python3/lib/python3.6/site-packages）就可以使用了。   
后期修改：发现这个包生成的hbase包已经不能用了，需要使用pip安装hbase-thrift即可。

三、安装thrift和hbase-thrift

*  pip install thrift
 *  pip install hbase-thrift

注：若装conda，可以用conda install ... 安装

安装完成之后第一次运行，报错误：

in <module> from hbase import Hbase File 
    "C:\Users\tianxiao\AppData\Local\Programs\Python\Python36\lib\site-packages\hbase\Hbase.py", line 2066 
    except IOError, io: ^ SyntaxError: invalid syntax

原因是python版本带来的语法兼容性问题，下载python3的Hbase文件，替换Hbase文件/usr/local/python3/lib/python3.6/site-packages/hbase/Hbase.py和ttypes.py  
下载地址为:https://github.com/626626cdllp/infrastructure/tree/master/hbase

![20190116085936682.png][]

四、hbase API

#!/usr/bin/python3
    # -*- coding: UTF-8 -*-
    
    from thrift import Thrift
    from thrift.transport import TSocket, TTransport
    from thrift.protocol import TBinaryProtocol
    from hbase import Hbase
    from hbase.ttypes import *
    import pandas as pd
    from hbase.Hbase import *
    
    class hbaseUtils(object):
        __slots__ = ['transport', 'client']
    
        # @staticmethod
        def __init__(self):
            # server端地址和端口,web是HMaster也就是thriftServer主机名,9090是thriftServer默认端口
            transport = TSocket.TSocket('172.8.10.145', 9090)
            # 可以设置超时
            transport.setTimeout(5000)
            # 设置传输方式（TFramedTransport或TBufferedTransport）
            self.transport = TTransport.TBufferedTransport(transport)
            # 设置传输协议
            protocol = TBinaryProtocol.TBinaryProtocol(self.transport)
            # 确定客户端
            self.client = Hbase.Client(protocol)

详细API见：python hbase  API (二)

[https://blog.csdn.net/qq\_21153619/article/details/86502624][https_blog.csdn.net_qq_21153619_article_details_86502624]

[https_blog.csdn.net_qq_21153619_article_details_82250725]: https://blog.csdn.net/qq_21153619/article/details/82250725
[http_archive.apache.org_dist_hbase_1.1.2]: http://archive.apache.org/dist/hbase/1.1.2/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIxMTUzNjE5_size_16_color_FFFFFF_t_70]: /images/20220326/76fb8b8e999644db8d0118fdce6bb802.png
[2019011609281587.png]: /images/20220326/c597249d05584ba1a9880318de49ae52.png
[20190116085936682.png]: /images/20220326/8b107eeb5f16450889c67d39e0e83720.png
[https_blog.csdn.net_qq_21153619_article_details_86502624]: https://blog.csdn.net/qq_21153619/article/details/86502624