Phoenix（一）Phoenix的特性与简单入门

亦凉 2023-10-09 12:11 31阅读 0赞

## 一、特性 ##

**    Phoenix作为应用层和HBASE之间的中间件,以下特性使它在大数据量的简单查询场景有着独有的优势**

*  二级索引支持(global index + local index)
 *  编译SQL成为原生HBASE的可并行执行的scan
 *  在数据层完成计算，server端的coprocessor执行聚合
 *  下推where过滤条件到server端的scan filter上
 *  利用统计信息优化、选择查询计划（5.x版本将支持CBO）
 *  skip scan功能提高扫描速度

**    一般可以使用以下三种方式访问Phoenix**

*  JDBC API
 *  SQuirrel

## 二、数据类型与DML语法 ##

### **    数据类型** ###

<table> 
 <thead> 
 <tr> 
 <th>序号</th> 
 <th>类型名</th> 
 <th>对应的java类型</th> 
 <th>取值范围</th> 
 <th>说明</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td>INTEGER</td> 
 <td>INTEGER</td> 
 <td>[-2147483648， 2147483647]</td> 
 <td>binary表示是4个byte的整数, 符号位被翻转（为了让负数排在正数前面）</td> 
 </tr> 
 <tr> 
 <td> 2 </td> 
 <td>UNSIGNED_INT</td> 
 <td>Integer</td> 
 <td>[ 0,2147483647]</td> 
 <td>binary表示是4个byte的整型。这个类型主要用作序列化映射到已经存在Hbase表的数据，适配HBase Bytes.toBytes(int)方法。</td> 
 </tr> 
 <tr> 
 <td> 3 </td> 
 <td>BIGINT</td> 
 <td>Long</td> 
 <td>[-9223372036854775808 ，9223372036854775807]</td> 
 <td>binary表示是8位byte的Long类型, 符号位被翻转（为了让负数排在正数前面）</td> 
 </tr> 
 <tr> 
 <td> 4 </td> 
 <td>UNSIGNED_LONG</td> 
 <td>Long</td> 
 <td>[0 ,9223372036854775807]</td> 
 <td>binary表示是8位byte的Long类型。这个类型主要用作序列化映射到已经存在Hbase表的数据，适配HBase Bytes.toBytes(long)方法。</td> 
 </tr> 
 <tr> 
 <td> 5 </td> 
 <td>TINYINT</td> 
 <td>Byte</td> 
 <td>[-128,127]</td> 
 <td>binary表示是单个byte，为了排序符号位被翻转。</td> 
 </tr> 
 <tr> 
 <td> 6 </td> 
 <td>UNSIGNED_TINYINT</td> 
 <td>Byte</td> 
 <td>[0,127]</td> 
 <td>binary表示是单个byte。这个类型主要用作序列化映射到已经存在Hbase表的数据，适配 HBase Bytes.toBytes(byte)方法。</td> 
 </tr> 
 <tr> 
 <td> 7 </td> 
 <td>SMALLINT</td> 
 <td>Short</td> 
 <td>[-32768,32767]</td> 
 <td>binary表示是两个byte，为了排序符号位被翻转。</td> 
 </tr> 
 <tr> 
 <td> 8 </td> 
 <td>UNSIGNED_SMALLINT</td> 
 <td>Short</td> 
 <td>[0,32767]</td> 
 <td>binary表示是两个byte。这个类型主要用作序列化映射到已经存在Hbase表的数据，适配HBase Bytes.toBytes(short)方法。</td> 
 </tr> 
 <tr> 
 <td> 9 </td> 
 <td>FLOAT</td> 
 <td>Float</td> 
 <td>[-3.402823466 E + 38,3.402823466 E + 38]</td> 
 <td>binary表示是四个byte, 为了排序符号位被翻转。</td> 
 </tr> 
 <tr> 
 <td> 10 </td> 
 <td>UNSIGNED_FLOAT</td> 
 <td>Float</td> 
 <td>[0,3.402823466 E + 38]</td> 
 <td>binary表示是四个byte。这个类型主要用作序列化映射到已经存在Hbase表的数据，适配HBase Bytes.toBytes(float)方法。</td> 
 </tr> 
 <tr> 
 <td> 11 </td> 
 <td>DOUBLE</td> 
 <td>DOUBLE</td> 
 <td>[-1.7976931348623158 E + 308,1.7976931348623158 E + 308]</td> 
 <td>binary表示是8个byte，为了排序符号位被翻转。</td> 
 </tr> 
 <tr> 
 <td> 12 </td> 
 <td>UNSIGNED_DOUBLE</td> 
 <td>DOUBLE</td> 
 <td>[0,1.7976931348623158 E + 308]</td> 
 <td>binary表示是8个byte。这个类型主要用作序列化映射到已经存在Hbase表的数据，适配HBase Bytes.toBytes(double)方法。</td> 
 </tr> 
 <tr> 
 <td> 13 </td> 
 <td>DECIMAL(precision,scale)</td> 
 <td>BigDecimal</td> 
 <td>最大精度38位</td> 
 <td>binary是可比较的边长格式。如果用于rowkey。 当它不是最后一列时，比较终结符号是null byte</td> 
 </tr> 
 <tr> 
 <td> 14 </td> 
 <td>BOOLEAN</td> 
 <td>BOOLEAN</td> 
 <td>0或1</td> 
 <td>binary表示0是flase, 1是true</td> 
 </tr> 
 <tr> 
 <td> 15 </td> 
 <td>TIME</td> 
 <td>java.sql.Time</td> 
 <td>格式： yyyy-MM-dd hh:mm:ss</td> 
 <td>二进制表示是8位byte的long类型数据, 数据内容是客户端时区自1970-01-01 00:00:00 UTC到现在的毫秒大小（GMT）。此类型与 SQL 92中的Time类型不兼容</td> 
 </tr> 
 <tr> 
 <td> 16 </td> 
 <td>DATE</td> 
 <td>java.sql.Date</td> 
 <td>格式： yyyy-MM-dd hh:mm:ss</td> 
 <td>二进制表示是8位byte的long类型数据, 数据内容是客户端时区自1970-01-01 00:00:00 UTC到现在的毫秒大小（GMT）。此类型与 SQL 92中的DATE类型不兼容。</td> 
 </tr> 
 <tr> 
 <td> 17 </td> 
 <td>TIMESTAMP</td> 
 <td>java.sql.Timestamp</td> 
 <td>格式：yyyy-MM-dd hh:mm:ss[.nnnnnnnnn]</td> 
 <td>二进制表示是8位byte的long类型和4位整型纳秒。8位byte的long类型数据是客户端时区自1970-01-01 00:00:00 UTC到现在的毫秒大小（GMT）。</td> 
 </tr> 
 <tr> 
 <td> 18 </td> 
 <td>UNSIGNED_TIME</td> 
 <td>java.sql.Time</td> 
 <td>格式： yyyy-MM-dd hh:mm:ss</td> 
 <td>二进制表示是8位byte的long类型数据, 数据内容是客户端时区自1970-01-01 00:00:00 UTC到现在的毫秒大小（GMT）。这个类型主要用作序列化映射到已经存在Hbase表的数据，适配HBase Bytes.toBytes(long)方法。</td> 
 </tr> 
 <tr> 
 <td> 19 </td> 
 <td>UNSIGNED_DATE &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp;&nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp;</td> 
 <td>java.sql.Date &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;</td> 
 <td>格式： yyyy-MM-dd hh:mm:ss &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp; &nbsp; &nbsp;</td> 
 <td>二进制表示是8位byte的long类型数据, 数据内容是客户端时区自1970-01-01 00:00:00 UTC到现在的毫秒大小（GMT）。这个类型主要用作序列化映射到已经存在Hbase表的数据，适配HBase Bytes.toBytes(long)方法。</td> 
 </tr> 
 <tr> 
 <td> 20 </td> 
 <td>UNSIGNED_TIMESTAMP</td> 
 <td>java.sql.Timestamp</td> 
 <td>格式：yyyy-MM-dd hh:mm:ss[.nnnnnnnnn]</td> 
 <td>二进制表示是8位byte的long类型和4位整型纳秒。8位byte的long类型数据是客户端时区自1970-01-01 00:00:00 UTC到现在的毫秒大小（GMT）。这个类型主要用作序列化映射到已经存在Hbase表的数据，适配HBase Bytes.toBytes(long)方法。</td> 
 </tr> 
 <tr> 
 <td> 21 </td> 
 <td>VARCHAR（precisionInt）</td> 
 <td>java.lang.String</td> 
 <td>变长，可选最大长度</td> 
 <td>对应UTF-8字符通过HBase Bytes.toBytes(String)转换的二进制。如果用于rowkey。 当它不是最后一列时，比较终结符号是null byte</td> 
 </tr> 
 <tr> 
 <td> 22 </td> 
 <td>CHAR ( precisionInt )</td> 
 <td>java.lang.String</td> 
 <td>定长</td> 
 <td>对应UTF-8字符通过HBase Bytes.toBytes(String)转换的二进制。</td> 
 </tr> 
 <tr> 
 <td> 23 </td> 
 <td>BINARY ( precisionInt )</td> 
 <td>byte[]</td> 
 <td>定长</td> 
 <td>定长byte数组</td> 
 </tr> 
 <tr> 
 <td> 24 </td> 
 <td>VARBINARY</td> 
 <td>byte[]</td> 
 <td>变长</td> 
 <td>变长byte数组</td> 
 </tr> 
 <tr> 
 <td> 25 </td> 
 <td>ARRAY [dimension]</td> 
 <td>java.sql.Array</td> 
 <td>-</td> 
 <td>Java原始类型数组，只支持一维数组。例如：VARCHAR ARRAY， CHAR(10) ARRAY [5]，INTEGER []，INTEGER [100]</td> 
 </tr> 
 </tbody> 
</table>

###     **DML语法** ###

### 1. SELECT ###

![Screen\_Shot\_2017\_11\_21\_at\_23\_47\_23][Screen_Shot_2017_11_21_at_23_47_23]

从一个或者多个表中查询数据。  
LIMIT(或者FETCH FIRST) 在ORDER BY子句后将转换为top-N查询。  
OFFSET子句指定返回查询结果前跳过的行数。

**示例**

SELECT * FROM TEST LIMIT 1000;
    SELECT * FROM TEST LIMIT 1000 OFFSET 100;
    SELECT full_name FROM SALES_PERSON WHERE ranking >= 5.0
        UNION ALL SELECT reviewer_name FROM 
        CUSTOMER_REVIEW WHERE score >= 8.0

### 2. UPSERT VALUES ###

![Screen\_Shot\_2017\_11\_22\_at\_08\_37\_30][Screen_Shot_2017_11_22_at_08_37_30]

此处upsert语义有异于标准SQL中的Insert，当写入值不存在时，表示写入数据，否则更新数据。其中列的声明是可以省略的，当省略时，values指定值的顺序和目标表中schema声明列的顺序需要一致。

ON DUPLICATE KEY是4.9版本中的功能，表示upsert原子写入的语义，在写入性能上弱于非原子语义。相同的row在同一batch中按照执行顺序写入。

**示例**

UPSERT INTO TEST VALUES('foo','bar',3);
    UPSERT INTO TEST(NAME,ID) VALUES('foo',123);
    UPSERT INTO TEST(ID, COUNTER) VALUES(123, 0) ON DUPLICATE KEY UPDATE COUNTER = COUNTER + 1;
    UPSERT INTO TEST(ID, MY_COL) VALUES(123, 0) ON DUPLICATE KEY IGNORE;

### 3. UPSERT SELECT ###

![Screen\_Shot\_2017\_11\_24\_at\_08\_35\_23][Screen_Shot_2017_11_24_at_08_35_23]

从另外一张表中读取数据写入到目标表中，如果数据存在则更新，否则插入数据。插入目标表的值顺序和查询表指定查询字段一致。当auto commit被打开并且select子句没有聚合时，写入目标表这个过程是在server端完成的，否则查询的数据会先缓存在客户端再写入目标表中（phoenix.mutate.upsertBatchSize表示从客户端一次commit的行数，默认10000行）。

**示例**

UPSERT INTO test.targetTable(col1, col2) SELECT col3, col4 FROM test.sourceTable WHERE col5 < 100
 UPSERT INTO foo SELECT * FROM bar;

### 4. DELETE ###

![Screen\_Shot\_2018\_03\_12\_at\_17\_05\_29][Screen_Shot_2018_03_12_at_17_05_29]

删除选定的列。如果auto commit打开，删除操作将在server端执行。

**示例**

DELETE FROM TABLENAME;
    DELETE FROM TABLENAME WHERE PK=123;
    DELETE FROM TABLENAME WHERE NAME LIKE '%';

[Screen_Shot_2017_11_21_at_23_47_23]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly95cWZpbGUuYWxpY2RuLmNvbS8wYWYyNDFkYmFkNzlmOGUwY2M5ZjY0MDdlNWEyYzg5ZmMwMjUwMDdkLnBuZw?x-oss-process=image/format,png
[Screen_Shot_2017_11_22_at_08_37_30]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly95cWZpbGUuYWxpY2RuLmNvbS8xNzJiY2RhZWExOGRhZDY5ZmE5ZmNjMWY4MzdmOWNiZDhhYjQ0MDY3LnBuZw?x-oss-process=image/format,png
[Screen_Shot_2017_11_24_at_08_35_23]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly95cWZpbGUuYWxpY2RuLmNvbS81YTdhNzZjMTk1ZWYyYWE0OTkwZTljZmE1N2ExMmFmMjMxZDdhYTkzLnBuZw?x-oss-process=image/format,png
[Screen_Shot_2018_03_12_at_17_05_29]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly95cWZpbGUuYWxpY2RuLmNvbS83ZDU4OTFhODZjYzI2N2ZjMDE1OTkzMWYzYjRjZjcyNTMyZWE1YzhjLnBuZw?x-oss-process=image/format,png