Hbase thrift-server

拼搏现实的明天。 2022-01-23 08:43 472阅读 0赞

## Thrift 简介 ##

Apache Thrift 是 Facebook **实现的一种高效的、支持多种编程语言的远程服务调用的框架**。Thrift是由Facebook开发的，并在2008年捐给了Apache基金会，成为了一个孵化器项目。

**Thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发**。它结合了功能强大的软件堆栈和代码生成引擎

**Thrift是一个驱动层接口，它提供了用于客户端使用多种语言实现的API。**  
**Thrift是个代码生成库**，支持的客户端语言包括C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C\#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 。它的**目标是为了各种流行的语言提供便利的RPC调用机制，而不需要使用那些开销巨大的方式，比如SOAP。**

**要使用Thrift，就要使用一个语言中立的服务定义文件，描述数据类型和服务接口**。这个文件会被用作引擎的输入，编译器生成代码为每种支持的语言生成RPC客户端代码库。这种静态生成的设计让它非常容易被开发者所使用，而且因为类型验证都发生在编译期而非运行期，所以代码可以很有效率地运行。

Thrift的设计提供了以下这些特性：  
**1、语言无关的类型**  
因为类型是使用定义文件按照语言中立的方式规定的，所以它们可以被不同的语言分析。比如，C++的结构可以和Python的字典类型相互交换数据。  
**2、通用传输接口**  
不论你使用的是磁盘文件、内存数据还是socket流，都可以使用同一段应用代码。  
**3、协议无关**  
Thrift会对数据类型进行编码和解码，可以跨协议使用。  
**4、支持版本**  
数据类型可以加入版本信息，来支持客户端API的更新。

# #

## Hbase thrift-server简介： ##

**Hbase是目前比较火的列存储数据库，由于Hbase是用Java写的，因此它原生地提供了Java接口，对非Java程序人员，怎么办呢？幸好它提供了thrift接口服务器，因此也可以采用其他语言来编写Hbase的客户端，本文即是Hbase python接口的介绍。  
目前的Hbase有两套thrift接口（可以叫thrift和thrift2）,它们并不兼容。根据官方文档，thrift很可能被抛弃，但网上的文章基本是介绍thrift的，我们这里采用的也是thrift。**

### 1.启动thrift-server ###

要使用Hbase的thrift接口，必须将它的服务启动，启动Hbase的thrift-server进程如下：

cd /app/zpy/hbase/bin
    ./hbase-daemon.sh start thrift 
    执行jps命令检查：
    34533 ThriftServer

thrift默认端口是9090，启动成功后可以查看端口是否起来。

[hadoop@zpy11412 bin]$ lsof -i:9090
    COMMAND   PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
    java    34533 hadoop  314u  IPv6 798279      0t0  TCP *:websm (LISTEN)

### 2.安装thrift所需依赖 ###

(1)安装依赖  
`yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel python-devel ruby-devel openssl-devel`  
(2)安装boost

wget http://sourceforge.net/projects/boost/files/boost/1.53.0/boost_1_53_0.tar.gz 
    tar xvf boost_1_53_0.tar.gz 
    cd boost_1_53_0 
    ./bootstrap.sh 
    ./b2 install

### 3.安装thrift客户端 ###

官网下载 thrift-0.11.0.tar.gz，解压并安装

wget http://mirrors.hust.edu.cn/apache/thrift/0.11.0/thrift-0.11.0.tar.gz
    tar xzvf thrift-0.11.0.tar.gz
    cd thrift-0.11.0
    mkdir /app/zpy/thrift
    ./configure --prefix=/app/zpy/thrift
    make 
    make install

make可能报错如下：  
`g++: error: /usr/lib64/libboost_unit_test_framework.a: No such file or directory`

解决：

find / -name libboost_unit_test_framework.*
    cp /usr/local/lib/libboost_unit_test_framework.a  /usr/lib64/

### 4.使用python3连接Hbase ###

安装所需包

pip install thrift
    pip install hbase-thrift

python 脚本如下：

from thrift import Thrift
    from thrift.transport import TSocket
    from thrift.transport import TTransport
    from thrift.protocol import TBinaryProtocol
    
    from hbase import Hbase
    from hbase.ttypes import *
    
    transport = TSocket.TSocket('localhost', 9090)
    protocol = TBinaryProtocol.TBinaryProtocol(transport)
    
    client = Hbase.Client(protocol)
    transport.open()
    a = client.getTableNames()
    print(a)

脚本报错

File "/app/zpy/pyenv/.pyenv/versions/3.5.3/lib/python3.5/site-packages/IPython/core/interactiveshell.py", line 2910, in run_code
            exec(code_obj, self.user_global_ns, self.user_ns)
    File "<ipython-input-1-e17848ba7457>", line 1, in <module>
            import hbase.Hbase
    File "/app/zpy/pyenv/.pyenv/versions/3.5.3/lib/python3.5/site-packages/hbase/Hbase.py", line 2066
            except IOError, io:
                      ^

原因：python版本带来的语法不兼容问题  
解决如下:

cd /app/zpy/pyenv/.pyenv/versions/3.5.3/lib/python3.5/site-packages/hbase
    mv Hbase.py Hbase.py.bak
    重新下载Hbase.py文件代替原来Hbase.py文件，下载地址如下：
    http://git.zipeiyi.com/yw/code/tree/master/hbase

重新执行python脚本，执行成功后会显示如下：

[root@zpy11412 zpy]# python a.py 
    ['ismhash', 'ismproinfo', 'mauser_info']

转：https://www.jianshu.com/p/93e36d008313