Phoenix 简介及使用方式

偏执的太偏执、 2022-10-25 12:46 790阅读 0赞

# Phoenix 简介及使用方式 #

### 目录 ###

*  Phoenix 简介及使用方式
 *   *  一、Phoenix 简介
     *  二、Phoenix 特点
     *  三、Phoenix 架构
     *  四、和Hbase中数据的关系映射
     *  五、Phoenix使用场景
     *   *  5.1 场景一：新建表
         *  5.2 场景二：映射Hbase中已有表
     *  五、Phoenix使用语法
     *  六、使用JDBC连接

## 一、Phoenix 简介 ##

Phoenix 最早是 saleforce 的一个开源项目，后来成为 Apache 的顶级项目。

Phoenix **构建在 HBase 之上的开源 SQL 层**。能够让我们使用**标准的 JDBC API 去建表, 插入数据和查询 HBase 中的数据**, 从而可以避免使用 HBase 的客户端 API。在我们的应用和 HBase 之间添加了 Phoenix, 并不会降低性能, 而且我们也少写了很多代码。

phoneix的本质就是定义了大量的[协处理器][Link 1]，使用协处理器帮助我们完成HBase的操作！

## 二、Phoenix 特点 ##

1.  将 SQL 查询编译为 HBase 扫描
2.  确定扫描 Rowkey 的最佳开始和结束位置
3.  扫描并行执行
4.  将 where 子句推送到服务器端的过滤器
5.  通过协处理器进行聚合操作
6.  完美支持 HBase 二级索引创建
7.  DML命令以及通过DDL命令创建和操作表和版本化增量更改。
8.  容易集成：如Spark，Hive，Pig，Flume和Map Reduce。

## 三、Phoenix 架构 ##

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]

## 四、和Hbase中数据的关系映射 ##

<table> 
 <thead> 
  <tr> 
   <th>模型</th> 
   <th>HBase</th> 
   <th>Phoneix(SQL)</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>库</td> 
   <td>namespace</td> 
   <td>database</td> 
  </tr> 
  <tr> 
   <td>表</td> 
   <td>table</td> 
   <td>table</td> 
  </tr> 
  <tr> 
   <td>列族</td> 
   <td>column Family cf:cq</td> 
   <td>列</td> 
  </tr> 
  <tr> 
   <td>列名</td> 
   <td>column Quailfier</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>值</td> 
   <td>value</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>行键</td> 
   <td>rowkey（唯一） dt|area|city|adsid</td> 
   <td>主键(dt,area,city,adsid)</td> 
  </tr> 
 </tbody> 
</table>

Phoenix 将 HBase 的数据模型映射到关系型模型中！  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]

## 五、Phoenix使用场景 ##

### 5.1 场景一：新建表 ###

通过phoneix在hbase中创建表，通过phoneix向hbase的表执行增删改查！

--使用默认的0号列族
    CREATE TABLE IF NOT EXISTS "us_population" (
          state CHAR(2) NOT NULL,
          city VARCHAR NOT NULL,
          population BIGINT
          CONSTRAINT my_pk PRIMARY KEY (state, city));
          
    --如果希望列族有意义
    CREATE TABLE IF NOT EXISTS us_population (
          state CHAR(2) NOT NULL,
          city VARCHAR NOT NULL,
          info.population BIGINT
          CONSTRAINT my_pk PRIMARY KEY (state, city));

默认所有的小写，都会转大写！在查询时的小写也会转大写！

如果必须用小写，需要加"", 在以后操作时，都需要加"",尽量不要使用小写！

### 5.2 场景二：映射Hbase中已有表 ###

hbase中已经存在了一个表，在phoneix中建表，映射上，进行操作！

在phoneix中，只读操作！ 创建一个View!

CREATE VIEW IF NOT EXISTS "t2" (
          id  VARCHAR  PRIMARY KEY  ,
          "cf1"."name" VARCHAR ,
        "cf2"."age" VARCHAR ,
        "cf2"."gender" VARCHAR 
        );

在phoneix中，可读可写操作！ 创建一个Table!

CREATE TABLE IF NOT EXISTS "t4" (
          id  VARCHAR  PRIMARY KEY  ,
          "cf1"."name" VARCHAR ,
        "cf2"."age" VARCHAR ,
        "cf2"."gender" VARCHAR 
        ) column_encoded_bytes=0;

## 五、Phoenix使用语法 ##

进入Phoenix客户端界面

[hadoop@hadoop101 phoenix]$ /opt/module/phoenix/bin/sqlline.py hadoop102,hadoop103,hadoop104:2181

**1）显示所有表**

!table 或 !tables

**2）创建表**

CREATE TABLE IF NOT EXISTS us_population (
          state CHAR(2) NOT NULL,
          city VARCHAR NOT NULL,
          population BIGINT
          CONSTRAINT my_pk PRIMARY KEY (state, city));

说明:

*  char类型必须添加长度限制
 *  varchar 可以不用长度限制
 *  主键映射到 HBase 中会成为 Rowkey. 如果有多个主键(联合主键), 会把多个主键的值拼成 rowkey
 *  在 Phoenix 中, 默认会把表名,字段名等自动转换成大写. 如果要使用消息, 需要把他们用双引号括起来.

**3）插入数据**

upsert into us_population values('NY','NewYork',8143197);
    upsert into us_population values('CA','Los Angeles',3844829);
    upsert into us_population values('IL','Chicago',2842518);

说明: upset可以看成是update和insert的结合体.

**4）查询记录**

select * from US_POPULATION;
    select * from us_population where state='NY';

**5）删除记录**

delete from us_population where state='NY';

**6）删除表**

drop table us_population;

**7）退出命令行**

! quit

## 六、使用JDBC连接 ##

添加如下依赖：

<dependency>
                <groupId>org.apache.phoenix</groupId>
                <artifactId>phoenix-core</artifactId>
                <version>5.0.0-HBase-2.0</version>
            </dependency>
    
            
            <dependency>
                <groupId>org.apache.hadoop</groupId>
                <artifactId>hadoop-common</artifactId>
                <version>3.1.1</version>
            </dependency>

测试连接：

import java.sql.*;
    
    public class MyPhoenix { 
    
        public static void main(String[] args) throws SQLException, ClassNotFoundException { 
    
            //Class.forName("org.apache.phoenix.jdbc.PhoenixDriver");
    
            Connection connection = DriverManager.getConnection("jdbc:phoenix:hadoop102:2181");
    
            String sql = "select * from US_POPULATION";
    
            PreparedStatement ps = connection.prepareStatement(sql);
    
            ResultSet resultSet = ps.executeQuery();
    
            while (resultSet.next()){ 
                System.out.println(resultSet.getString("STATE")+" "
                             + resultSet.getString("CITY") + " "
                              + resultSet.getLong("POPULATION"));
    
            }
    
            resultSet.close();
    
            ps.close();
    
            connection.close();
    
        }
    
    }

[Link 1]: https://blog.csdn.net/weixin_42796403/article/details/113481622
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221024/27cb69305cbb4805b2bb6a411a9da9bd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]: /images/20221024/a2e84851ec6b42e385b7da5e4abd45ad.png