Phoenix(SQL On HBase)

今天药忘吃喽~ 2023-01-01 05:51 163阅读 0赞

# 1.简介 #

![45c564867c5b9c266d056a25ac1d4285.png][]

Phoenix是一个HBase框架，可以通过SQL的方式来操作HBase。

Phoenix是构建在HBase上的一个SQL层，是内嵌在HBase中的JDBC驱动，能够让用户使用标准的JDBC来操作HBase。

Phoenix使用JAVA语言进行编写，其查询引擎会将SQL查询语句转换成一个或多个HBase Scanner，且并行执行生成标准的JDBC结果集。

**\***如果需要对HBase进行复杂的操作，那么应该使用Phoenix，其会将SQL语句转换成HBase相应的API。

**\***Phoenix只能用在HBase上，其查询性能要远高于Hive。

# 2.Phoenix与HBase的关系 #

Phoenix与HBase中的表是独立的，两者之间没有必然的关系。

Phoenix与HBase集成后会创建六张系统表：SYSTEM.CATALOG、SYSTEM.FUNCTION、SYSTEM.LOG、SYSTEM.SEQUENCE、SYSTEM.STATS，其中SYSTEM.CATALOG表用于存放Phoenix创建表时的元数据。

Phoenix创建表时会自动调用HBase客户端创建相应的表，并且在SYSTEM.CATALOG系统表中记录Phoenix创建表时的元数据，其主键的值对应HBase的RowKey，非主键的列对应HBase的Column（列族不指定时为0，且列会进行编码）

如果是通过Phoenix创建的表，那么必须通过Phoenix客户端来对表进行操作，因为通过Phoenix创建的表其非主键的列会进行编码。

# 3.Phoenix语法 #

Phoenix的SQL中如果表名、字段名不使用双引号标注那么默认转换成大写。

Phoenix中的字符串使用单引号进行标注。

### 创建表 ###

CREATE TABLE IF NOT EXISTS us_population (
          state CHAR(2) NOT NULL,
          city VARCHAR NOT NULL,
          population BIGINT
          CONSTRAINT my_pk PRIMARY KEY (state, city)
    );

**\***主键的值对应HBase中的RowKey，列族不指定时默认是0，非主键的列对应HBase的列。

### 删除表 ###

DROP TABLE us_population;

### 查询数据 ###

SELECT * FROM us_population WHERE state = 'NA' AND population > 10000 ORDER BY population DESC;

**\***在进行查询时，支持ORDER BY、GROUP BY、LIMIT、JOIN等操作，同时Phoenix提供了一系列的函数，其中包括COUNT()、MAX()、MIN()、SUM()等，具体的函数列表可以查看：[http://phoenix.apache.org/language/functions.html][http_phoenix.apache.org_language_functions.html]

**\***不管条件中的列是否是联合主键中的，Phoenix一样可以支持。

### 删除数据 ###

DELETE FROM us_population WHERE state = 'NA';

### 插入或更新数据 ###

UPSERT INTO us_population VALUES('CA','GZ',850000);

UPSERT INTO us_population(state,city) VALUES('CA','GZ');

**\***如果主键的值重复，那么进行更新操作，否则插入一条新的记录（在进行更新时，没有更新的列保持原值，在进行插入时，没有插入的列为null）

**\***在使用UPSERT时，主键的列不能为空（包括联合主键）

# 4.Phoenix映射HBase  #

只要直接通过HBase客户端创建的表，若想用Phoenix来进行操作，那么必须要进行表的映射，因为SYSTEM.CATALOG表中并没有维护Phoenix创建表的元数据。

### 创建表来进行表的映射 ###

CREATE TABLE IF NOT EXISTS 表名(
      列名 类型 主键,
      列簇.列名,
      列簇.列名
    )

**\***HBase中的RowKey映射Phoenix的主键，HBase中的Column映射Phoenix的列，且使用列簇名.列名进行映射。

**\***相当于在SYSTEM.CATALOG表中录入相关的元数据，使Phoenix能够进行操作它。

### 创建视图来进行表的映射 ###

CREATE VIEW 视图名(
      列名 类型 主键,
      列簇.列名,
      列簇.列名
    )

**\***Phoenix中的视图只能进行查询，不能进行添加、更新、删除操作。

# 5.Phoenix优化 #

### 1.服务端配置优化 ###

![ad0d86314696f1ccec589d640b1ae5da.png][]

**\***往HBase安装目录下的conf目录下的hbase-site.xml文件中添加配置。

### 2.对表中的数据进行分区 ###

**哈希取模**

通过在创建表时指定SALE\_BUCKETS来实现将表中的数据预分割到多个Region中，有利于提高读取数据的性能。

其原理是将RowKey进行散列，把得到的余数的byte值插入到RowKey的第一个字节中，并通过预定义每个Region的Start Key和End Key，将数据分散存储到不同的Region中。

CREATE TABLE IF NOT EXISTS us_population (
          state CHAR(2) NOT NULL,
          city VARCHAR NOT NULL,
          population BIGINT
          CONSTRAINT my_pk PRIMARY KEY (state, city)
    )SALT_BUCKETS=16;

**\***通过SALE\_BUCKETS设置哈希函数的除数P（除留余数法）

**根据值来进行预分区**

在创建表时，可以精确的指定RowKey根据什么值来进行预分区，不同的值存储在独立的Region中，有利于提高读取数据的性能。

CREATE TABLE IF NOT EXISTS us_population (
          state CHAR(2) NOT NULL,
          city VARCHAR NOT NULL,
          population BIGINT
          CONSTRAINT my_pk PRIMARY KEY (state, city)
    )SPLIT ON('CS','EU','NA');

### 3.创建表时指定列簇 ###

在HBase中每个列簇对应一个文件，如果要查询的列其列簇下只有它自己，那么将极大的提高读取数据的性能。

CREATE TABLE IF NOT EXISTS us_population (
          state CHAR(2) NOT NULL,
          city VARCHAR NOT NULL,
          C1.population BIGINT
          CONSTRAINT my_pk PRIMARY KEY (state, city)
    );

**\***列族只能在非主键列中进行指定。

### 4.对表进行压缩 ###

在创建表时可以指定表的压缩方式，能极大的提高数据的读写效率。

CREATE TABLE IF NOT EXISTS us_population (
          state CHAR(2) NOT NULL,
          city VARCHAR NOT NULL,
          population BIGINT
          CONSTRAINT my_pk PRIMARY KEY (state, city)
    )COMPRESSION='GZ';

**\***可选的压缩方式包括GZip、Snappy、Lzo等。

### 5.使用二级索引 ###

在HBase中会自动为RowKey添加索引，因此在通过RowKey查询数据时效率会很高，但是如果要根据其他列来进行组合查询，那么查询的性能就很低下，此时可以使用Phoenix提供的二级索引，能够极大的提高查询数据的性能。

创建普通索引

CREATE INDEX 索引名称 ON 表名(列名)

创建二级索引

CREATE INDEX 索引名称 ON 表名(列名) INCLUDE(列名)

# 6.Phoenix的搭建 #

## 1.安装JDK、Hadoop、Zookeeper、HBase ##

由于Phoenix是内嵌在HBase的JDBC驱动，且HBase是通过JAVA语言编写的，其基于HDFS，且依赖于Zookeeper进行服务的协调和HA高可用配置，因此需要安装JDK、Hadoop和Zookeeper，并配置好JAVA\_HOME环境变量。

![56ddbfd3402265f55de99868d0eb4323.png][]

![28c3bcd8151e6267a44ca25dc450b7cf.png][]

由于HDFS一般都以集群的方式运行，因此需要搭建HDFS集群并启动。

![11c248c0751efb82295eb5cb17262121.png][]

**\***在搭建HDFS集群时，需要相互配置SSH使之互相信任并且开放防火墙相应的端口，或者直接关闭防火墙。

启动Zookeeper集群

![3703842be64c8daf7c5f746946a09be1.png][]

![044ef1b6b245b5f9080c946ef6551942.png][]

![1f2beeaa991acbaf6a3b4e2148d9bcc2.png][]

由于HBase一般都以集群的方式运行，因此需要搭建HBase集群并启动。

![7b1d7851b4303084a58c2d13909de199.png][]

## 2.安装Phoenix ##

选择对应HBase版本的Phoenix版本：[http://archive.apache.org/dist][http_archive.apache.org_dist]

将下载后的hbase-server.jar复制到HBase安装目录的lib目录下。

## 3.重启HBase集群 ##

由于已经将Phoenix的hbase-server.jar复制到HBase的lib目录下，当HBase集群启动时将会加载Phoenix，并加载hbase-site.xml配置文件（存放HBase和Phoenix的配置），此时可以使用Phoenix客户端进行连接，通过标准的JDBC来操作HBase。

**\***Phoenix第一次启动时，会在HBase中创建六张系统表，用于存放Phoenix的相关信息。

# 7.Phoenix客户端 #

### 使用sqlline.py操作Phoenix ###

Phoenix提供了sqlline.py脚本用于启动Phoenix客户端并进行连接，启动时只需要指定HBase连接的Zookeeper集群地址即可。

![a5d8102f10a253b3d38c8bb5ed200d56.png][]

**\***使用!tables查询通过Phoenix创建的表（即SYSTEM.CATALOG表中的元数据）

### 使用JAVA操作Phoenix ###

导入依赖

<dependency> 
      <groupId>org.apache.phoenix</groupId>  
      <artifactId>phoenix-core</artifactId>  
      <version>4.14.1-HBase-1.2</version> 
    </dependency>

使用标准的JDBC来操作HBase

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

//加载驱动
    Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");
    //通过DriverManager获取连接
    Connection conn = DriverManager.getConnection("jdbc:phoenix:192.168.1.80,192.168.1.81,192.168.1.82:2181);
    //创建Statement实例
    Statement statement = conn.prepareStatement(sql);
    //执行增、删、改、查等操作
    execute(sql)
    executeUpdate(sql)
    executeQuery(sql)

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

完整的PhoenixUtils

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

/**
     * @Auther: ZHUANGHAOTANG
     * @Date: 2019/1/9 10:24
     * @Description:
     */
    public class PhoenixUtils {
    
        private static final Logger logger = LoggerFactory.getLogger(PhoenixUtils.class);
    
        private static final String PHOENIX_DRIVER = "org.apache.phoenix.jdbc.PhoenixDriver";
    
        private static final String PHOENIX_URL = "jdbc:phoenix:192.168.1.80,192.168.1.81,192.168.1.82:2181";
    
        private static Connection conn = null;
    
        static {
            try {
                Class.forName(PHOENIX_DRIVER);
                conn = DriverManager.getConnection(PHOENIX_URL);
            } catch (Exception e) {
                logger.info("初始化Phoenix连接时失败", e);
            }
        }
    
        /**
         * 获取Phoenix中的表(系统表除外)
         */
        public static List<String> getTables() throws Exception {
            List<String> tables = new ArrayList<>();
            DatabaseMetaData metaData = conn.getMetaData();
            String[] types = {"TABLE"}; //"SYSTEM TABLE"
            ResultSet resultSet = metaData.getTables(null, null, null, types);
            while (resultSet.next()) {
                tables.add(resultSet.getString("TABLE_NAME"));
            }
            return tables;
        }
    
        /**
         * 获取表中的所有数据
         */
        public static List<Map<String, String>> getList(String tableName) throws Exception {
            String sql = "SELECT * FROM " + tableName;
            PreparedStatement preparedStatement = conn.prepareStatement(sql);
            ResultSet resultSet = preparedStatement.executeQuery();
            ResultSetMetaData resultSetMetaData = resultSet.getMetaData();
            List<Map<String, String>> resultList = new ArrayList<>();
            while (resultSet.next()) {
                Map<String, String> result = new HashMap<>();
                for (int i = 1, len = resultSetMetaData.getColumnCount(); i <= len; i++) {
                    result.put(resultSetMetaData.getColumnName(i), resultSet.getString(i));
                }
                resultList.add(result);
            }
            return resultList;
        }
    
    }

![复制代码][48304ba5e6f9fe08f3fa1abda7d326ab.png]

[45c564867c5b9c266d056a25ac1d4285.png]: /images/20221120/ade6c07202a8428db09343258709ff95.png
[http_phoenix.apache.org_language_functions.html]: http://phoenix.apache.org/language/functions.html
[ad0d86314696f1ccec589d640b1ae5da.png]: /images/20221120/f8eeba9ed6e64ef2ba4fde3afef222a7.png
[56ddbfd3402265f55de99868d0eb4323.png]: /images/20221120/0fc257119c704220a3d70a34f917fc32.png
[28c3bcd8151e6267a44ca25dc450b7cf.png]: /images/20221120/1769d353a91841a58a72dbb909bb7fe9.png
[11c248c0751efb82295eb5cb17262121.png]: /images/20221120/f60204756447419b9576029a35c02dfa.png
[3703842be64c8daf7c5f746946a09be1.png]: /images/20221120/a932941f020e4641a2a580260cf851fd.png
[044ef1b6b245b5f9080c946ef6551942.png]: /images/20221120/557d9e9c1f4843eba15b89822ce4891e.png
[1f2beeaa991acbaf6a3b4e2148d9bcc2.png]: /images/20221120/95127253021b453da94cd92a9dc5134a.png
[7b1d7851b4303084a58c2d13909de199.png]: /images/20221120/28542d94884d44bc89f767b3fcdac4b1.png
[http_archive.apache.org_dist]: http://archive.apache.org/dist
[a5d8102f10a253b3d38c8bb5ed200d56.png]: /images/20221120/462a56edf71d4931a0cacf3d6069d543.png
[48304ba5e6f9fe08f3fa1abda7d326ab.png]: /images/20221120/a135313fc959421383c0fc1e7a34201d.png

发表评论取消回复

表情：

评论列表（有 0 条评论，163人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hbase-Trying to load more than 32 hfiles to one family of one region

* [BulkLoad方式优化][BulkLoad] * [背景][Link 1] * [问题分析][Link 2] * ...

系统管理员/ 2024年04月17日 05:49/ 0 赞/ 84 阅读

相关 hbase/hadoop异常：No lease on /hbase/archive/data/... File is not open for writing

欢迎关注本人公众号 ![在这里插入图片描述][20200515113638671.jpg_pic_center] 问题描述我在进行hbase快照拷贝时报了以下错

迷南。/ 2023年06月15日 09:53/ 0 赞/ 17 阅读

相关 Hbase备份（HBase Backup）之 Hbase Export、Hbase Import

目录 Export mapreduce-based Export endpoint-based Export 对照表 Import ----------------

傷城~/ 2023年06月08日 04:41/ 0 赞/ 21 阅读

相关 Hbase备份（HBase Backup）之 Hbase CopyTable

CopyTable 是 Apache Hadoop MapReduce 作业的核心，它使用标准的 HBase 扫描读路径接口从单个表读取记录，然后使用标准的 HBase Put

￡神魔★判官ぃ/ 2023年06月08日 03:04/ 0 赞/ 29 阅读

相关 NotServingRegionException: hbase:meta,,1 is not online on IP,16020,1594695695496

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Blc

痛定思痛。/ 2023年02月26日 04:27/ 0 赞/ 9 阅读

相关 Phoenix(SQL On HBase)

1.简介 ![45c564867c5b9c266d056a25ac1d4285.png][] Phoenix是一个HBase框架，可以通过SQL的方式

今天药忘吃喽~/ 2023年01月01日 05:51/ 0 赞/ 164 阅读

相关 Phoenix on HBase

（一）概要 Apache Phoenix是基于BSD许可开源的一个Java中间层，可以让开发者在ApacheHBase上执行SQL查询。Apache Phoenix主要特性：

Bertha 。/ 2022年08月19日 08:58/ 0 赞/ 243 阅读

相关 Phoenix（SQL On HBase）安装和使用报告

[Phoenix（SQL On HBase）安装和使用报告][Phoenix_SQL On HBase] http://www.cnblogs.com/kekukekro

朴灿烈づ我的快乐病毒、/ 2022年05月30日 09:53/ 0 赞/ 251 阅读

相关 HBase——MapReduce操作HBase

本节目标：掌握编写MR操作HBase。通过[官方实例][Link 1]，可以看到自定义map函数要继承TableMapper，自定义reduce函数要继承TableRe

谁践踏了优雅/ 2022年05月26日 07:16/ 0 赞/ 416 阅读

相关 Apache Phoenix介绍（SQL on HBase）

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 1. Phoenix定义 Phoenix最早是sa

﹏ヽ暗。殇╰゛Y/ 2021年09月20日 02:44/ 0 赞/ 423 阅读