Hive数据类型和使用注意事项详解

末蓝、 2022-05-25 08:26 312阅读 0赞

了解Hive数据类型 ，是Hive编程的基础。使用hive建表，首先要明白hive常用的数据类型有哪些，可以存储哪些类型的数据。**其实Hive支持关系型数据库中的大多数基本数据类型，且同时支持关系型数据库中少见的3种集合数类型（STRUCT,MAP,ARRAY）。然而学习技术最好的方式之一就是去查看官方文档。**

**      Hive关于数据类型官网地址：[Hive官网关于数据类型的介绍][Hive]**

## **一.Hive数据类型与使用** ##

**    ** 下面介绍的是基于hive v0.80版本之后的hive支持的数据类型，同关系型数据库一样，hive支持多种不同长度的整型和浮点型数据，同时支持布尔型，不定长度的字符串型（**注意，这里的int，float,double等底层实现原理和java中底层实现一样，因为hive基于java开发的，底层是对java接口的实现，所以也会规定数据类型的内存占用空间。）**

### 1. 数值型(标注红色为常用的) ###

在Hive里默认情况下，整数型为INT型，当数字大于INT型的范围时，会自动解释执行为BIGINT，或者直接用后缀进行说明100Y,100S,100L(对应为tinyint,smallint,bigint)

<table> 
 <thead> 
  <tr> 
   <th>类型</th> 
   <th>支持范围</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>TINYINT</td> 
   <td>1-byte signed integer, from -128 to 127 ，范围太小，基本不用</td> 
  </tr> 
  <tr> 
   <td>SMALLINT</td> 
   <td>2-byte signed integer, from -32,768 to 32,767&nbsp; &nbsp;基本也不用。</td> 
  </tr> 
  <tr> 
   <td><span style="color:#f33b45;">INT/INTEGER</span></td> 
   <td><span style="color:#f33b45;">4-byte signed integer, from -2,147,483,648 to 2,147,483,647&nbsp; &nbsp;,INTERGER是hive2.20中才开始有的，一般不用</span></td> 
  </tr> 
  <tr> 
   <td><span style="color:#f33b45;">BIGINT</span></td> 
   <td><span style="color:#f33b45;">8-byte signed integer, from -9,223,372,036,854,775,808 to 9,223,372,036,854,775,807&nbsp; 为int的补充使用</span></td> 
  </tr> 
  <tr> 
   <td><span style="color:#f33b45;">FLOAT</span></td> 
   <td><span style="color:#f33b45;">4-byte single precision floating point number，常用单精度浮点数3.14159</span></td> 
  </tr> 
  <tr> 
   <td><span style="color:#f33b45;">DOUBLE</span></td> 
   <td><span style="color:#f33b45;">8-byte double precision floating point number 双精度浮点，存储更大。3.114159</span></td> 
  </tr> 
  <tr> 
   <td><span style="color:#f33b45;">DECIMAL</span></td> 
   <td> <p>1.hive.0.13.0才开始使用，Hive的小数型是基于Java BigDecimal做的， BigDecimal在java中用于表示任意精度的小数类型。所有常规数字运算（例如+， - ，*，/）和相关的UDFs（例如Floor，Ceil，Round等等）都使用和支持Decimal。</p> <p>2.可以将Decimal和其他数值型互相转换，且Decimal支持科学计数法和非科学计数法。因此，无论您的数据集是否包含如4.004E + 3（科学记数法）或4004（非科学记数法）或两者的组合的数据，可以使用Decimal。&nbsp;<br><span style="color:#f33b45;"><strong>3.从Hive 0.13开始，用户可以使用DECIMAL(precision, scale) 语法在创建表时来定义Decimal数据类型的precision和scale。 如果未指定precision，则默认为10。如果未指定scale，它将默认为0（无小数位）。</strong></span></p> </td> 
  </tr> 
 </tbody> 
</table>

**decimal数值类型使用演示：**

1.decimal的使用decimal(precision, scale),前面是整数部分，后面是小数部分。
    整数部分如果没有定义，则默认长度为10，小数部分如果没有指定，则默认为0.
    如果超出长度则会截取，如下小数部位默认长度为0，被四舍五入截取了，整数部位进1。
    hive (fdm_sor)> select CAST(1234567891.523456 AS DECIMAL) from aaaa limit 1;  
    1234567892
    
    2.如果需要转换的数据长度超过decimal指定长度，则结果不会截取，直接为null值，尽管decimal最长可以存储长度为38位的小数。
    如下默认整数部分长度为10，现在需要转化的数据整数长度超过10，直接整个结果为NULL
    hive(fdm_sor)> select CAST(12345678910.523456 AS DECIMAL) from aaaa limit 1;
    NULL
    
    3.使用decimal将其他类型的数据转换成decimal，指定长度，超出部分四舍五入。
    hive (fdm_sor)> select CAST(123456789.1234567 AS DECIMAL(20,5)) from aaaa limit 1; 
    123456789.12346

### 2.字符型的数据类型(标注红色为常用的) ###

### string与varchar，char的区别和联系 ###

1.varchar固定长度，使用时要指定长度.所以转换的时候有可能超出指定长度后，数据丢失，这点不如string
    hive (fdm_sor)> select CAST("ABCDEFGHICD" AS VARCHAR(10)) from aaaa limit 1; 
    ABCDEFGHIC
    
    2.varchar建表时，需要指定长度，否则报错。长度如果指定小了，数据插入会直接被截取长度。如下所示：
    hive (fdm_sor)> create table tmp_varchar(id varchar(10)) 
                  > ;
    
    hive (fdm_sor)> insert overwrite table tmp_varchar  
                  > select "123456789122" from aaaa;  
    tmp_varchar.id
    1234567891
    1234567891
    1234567891
    1234567891
    
    
    3.同理，char的使用也需要指定长度，只是char的长度比varchar小多了，这个两者的使用有点类似数据库
    CREATE TABLE foo (bar CHAR(10))
    
    4.一般来说能用string类型的尽量使用string类型。

### 3.日期型数据类型 ###

<table> 
 <thead> 
  <tr> 
   <th style="width:150px;">类型</th> 
   <th style="width:699px;">使用说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="width:150px;"><span style="color:#f33b45;"><strong>TIMESTAMP</strong></span></td> 
   <td style="width:699px;"><span style="color:#f33b45;"><strong>1.始于Hive 0.8.0。用来表示UTC时间(时间标准时间)。提供了用于时区转换的便捷UDFs（to_utc_timestamp，from_utc_timestamp）。2.&nbsp;所有现有的日期时间UDFs（月，日，年，小时等）都使用TIMESTAMP数据类型。其次TIMESTAP支持整型，浮点型，字符串型的数据。具体使用后面介绍实际开发中使用的也不是特别多。</strong></span></td> 
  </tr> 
  <tr> 
   <td style="width:150px;">DATE</td> 
   <td style="width:699px;">始于Hive 0.12.0&nbsp; &nbsp;DATE值描述特定的年/月/日，格式为YYYY-MM-DD。 例如，DATE’2013-01-01’。 日期类型没有时间组件。 Date类型支持的值范围是0000-01-01到9999-12-31，这取决于Java Date类型的原始支持。&nbsp;<br><strong>Date types只能在Date, Timestamp, or String types之间转换。</strong></td> 
  </tr> 
  <tr> 
   <td style="width:150px;">INTERVAL</td> 
   <td style="width:699px;">始于Hive 1.2.0,实际开发中不怎么用。</td> 
  </tr> 
 </tbody> 
</table>

---1.使用timestamp创建日期类型的字段，可以存储浮点，整型，字符串类型的时间数据
    create table fdm_sor.tmp_aaaaa(
    a int,
    b bigint,
    c timestamp
    )
    --2.测试数据
    hive (fdm_sor)> insert overwrite  table fdm_sor.tmp_aaaaa   --存放字符串型时间
                  > select 1,2,"2019-05-22 21:23:34" from fdm_sor.tmp_aaaaa limit 3;
    hive (fdm_sor)> select * from fdm_sor.tmp_aaaaa;
    OK
    1	2	2019-05-22 21:23:34
    1	2	2019-05-22 21:23:34
    
    hive (fdm_sor)> insert overwrite  table fdm_sor.tmp_aaaaa  ---存放数值型数据
                  > select 3,4,12334324 from fdm_sor.tmp_aaaaa limit 2;
    hive (fdm_sor)> select * from fdm_sor.tmp_aaaaa;
    OK
    3	4	1970-01-01 11:25:34.324
    3	4	1970-01-01 11:25:34.324

### **4.其他数据类型** ###

*  **BOOLEAN类型：TRUE or FALSE**
 *  **BINARY类型：字节数组，类似数据库的varbinary。**

### 5复合数据类型，不常用  ###

<table> 
 <tbody> 
  <tr> 
   <td>arrays</td> 
   <td>ARRAY(data_type)</td> 
  </tr> 
  <tr> 
   <td>maps</td> 
   <td>MAP(primitive_type, data_type)</td> 
  </tr> 
  <tr> 
   <td>structs</td> 
   <td>STRUCTcol_name : data_type [COMMENT col_comment], …)</td> 
  </tr> 
  <tr> 
   <td>union</td> 
   <td>UNIONTYPE(data_type, data_type, …)</td> 
  </tr> 
 </tbody> 
</table>

### 二.Hive不同数据类型之间的转换 ###

### 1.同数据类型之间的转换 ###

hive底层是java实现开发的，hive的数据类型很多也跟java保持一致，所以对于同类型的数据类型进行转换时也遵循java的自动“向上转型”规则，即低类型的数据在和高类型的数据进行逻辑运算时，会隐式的自动转换成高类型的数据类型。然后再进行计算。比如1和1.23比较，会自动将1转换成1.0进行计算比较。

### 2.不同数据类型的转换 ###

hive中不同数据类型的数据再进行比较运算时，需要用cast函数进行手动转换。

** cast函数使用：cast(valule as type),value是需要被转换的数据， AS是固定关键字，type是需要转换的类型**

>select 
    cast("1223" as double),
    cast("456.23" as int),
    cast("1.99" as int),
    cast("abc" as int) 
    from aaaa;
    >1223.0,	456,	1,    NULL

**   注意：如上结果显示，cast的转换功能也不是万能的，必须是“存储的类型值”符合转换条件才能进行转换。否则是NULL值的结果。比如“abc”转换成double，很明显abc不是数值，所以转换失败，结果时NULL值。此外，如果使用cast将高类型的数据转换成低类型的数据，cast函数会直接截取，损失数据精度甚至得到错误结果。**

[Hive]: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types#LanguageManualTypes-varchar