01：Hive从0到1系列学习：Hive的数据结构

迷南。 2023-10-04 17:18 25阅读 0赞

#### 数据类型 ####

Hive的数据类型可以分为两种，一种是基本数据类型，另一种是集合数据类型

##### 1、基本数据类型 #####

<table> 
 <thead> 
  <tr> 
   <th>Hive数据类型</th> 
   <th>Java数据类型</th> 
   <th>长度</th> 
   <th>例子</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>TINYINT</td> 
   <td>byte</td> 
   <td>1byte有符号整数</td> 
   <td>20</td> 
  </tr> 
  <tr> 
   <td>SMALINT</td> 
   <td>short</td> 
   <td>2byte有符号整数</td> 
   <td>20</td> 
  </tr> 
  <tr> 
   <td>INT</td> 
   <td>int</td> 
   <td>4byte有符号整数</td> 
   <td>20</td> 
  </tr> 
  <tr> 
   <td>BIGINT</td> 
   <td>long</td> 
   <td>8byte有符号整数</td> 
   <td>20</td> 
  </tr> 
  <tr> 
   <td>BOOLEAN</td> 
   <td>boolean</td> 
   <td>布尔类型，true或者false</td> 
   <td>TRUE FALSE</td> 
  </tr> 
  <tr> 
   <td>FLOAT</td> 
   <td>float</td> 
   <td>单精度浮点数</td> 
   <td>3.14159</td> 
  </tr> 
  <tr> 
   <td>DOUBLE</td> 
   <td>double</td> 
   <td>双精度浮点数</td> 
   <td>3.14159</td> 
  </tr> 
  <tr> 
   <td>STRING</td> 
   <td>string</td> 
   <td>字符系列。可以指定字符集。 可以使用单引号或者双引号。</td> 
   <td>‘now is the time’ “for all good men”</td> 
  </tr> 
  <tr> 
   <td>TIMESTAMP</td> 
   <td></td> 
   <td>时间类型</td> 
   <td></td> 
  </tr> 
  <tr> 
   <td>BINARY</td> 
   <td></td> 
   <td>字节数组</td> 
   <td></td> 
  </tr> 
 </tbody> 
</table>

##### 2、集合数据类型 #####

几何数据类型分为三种：STRUCT 、MAP 、 ARRAY

<table> 
 <thead> 
  <tr> 
   <th>数据类型</th> 
   <th>描述</th> 
   <th>语法示例</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>STRUCT</td> 
   <td>和c语言中的struct类似，都可以通过“点”符号访问元素内容。 例如： 如果某个列的数据类型是STRUCT{first STRING, last STRING},那么第1个元素可以通过字段.first来引用。</td> 
   <td>struct() 例如： struct&lt;street:string, city:string&gt;</td> 
  </tr> 
  <tr> 
   <td>MAP</td> 
   <td>MAP是一组键-值对元组集合，使用数组表示法可以访问数据。 例如： 如果某个列的数据类型是MAP，其中键-&gt;值对是’first’-&gt;’John’和’last’-&gt;’Doe’，那么可以通过字段名[‘last’]获取最后一个元素</td> 
   <td>map() 例如： map&lt;string, int&gt;</td> 
  </tr> 
  <tr> 
   <td>ARRAY</td> 
   <td>数组是一组具有相同类型和名称的变量的集合。 这些变量称为数组的元素，每个数组元素都有一个编号，编号从零开始。 例如： 数组值为[‘John’, ‘Doe’]，那么第2个元素可以通过数组名[1]进行引用。</td> 
   <td>Array() 例如：array</td> 
  </tr> 
 </tbody> 
</table>

Hive的Map类型和Java的Map类型相似，Array类型也和Java的Array类型相似，而STRUCT类似于Python中的字典类型，但是很灵活，为键值对形式，但是值又可以为多种类型，比如字符串、列表、map等类型，属于一种嵌套的数据类型

举例：

比如对于一种表的数据如下，属于JSON类型：

{
        
        "name": "tangseng",
        "friends": ["fozu" , "pusa"] ,       //列表Array, 
        "students": {
                              //键值Map,
            "sunwukong": 19 ,
            "zhubajie": 18,
            "shaseng":20,
        }
        "address": {
                              //结构Struct,
            "street": "datang" ,
            "city": "dongtu" 
        }
    }

基于上述的数据，我们在hive中创建相应的表，并且导入数据

①首先需要创建该文件

vim /opt/module/hive/datas/personinfo

tangseng,fozu_pusa,sunwukong:19_zhubajie:18_shaseng:20,datang_dongtu
    sunwukong,zhubajie_shasheng,chengxiang:16_xiaoyu:17,shuiliandong_huaguoshan

注意：用逗号“，”表示一个键值对，值中用下划线“\_”将各个值分开，结构用回车分开

②在hive中创建表personinfo

create table personInfo (
        name string,
        friends array<string>,
        students map<string, int>,
        address struct<street:string, city:string>
    )
    row format delimited
    fields terminated by ','
    collection items terminated by '_'
    map keys terminated by ':'
    lines terminated by '\n';

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]

语句说明：

<table> 
 <thead> 
  <tr> 
   <th>语句</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>name string</td> 
   <td>name字段为String类型</td> 
  </tr> 
  <tr> 
   <td>friend array</td> 
   <td>friend字段为array</td> 
  </tr> 
  <tr> 
   <td>children map&lt;string, int&gt;</td> 
   <td>children字段为map</td> 
  </tr> 
  <tr> 
   <td>address struct&lt;street:string, city:string&gt;</td> 
   <td>address字段为struct</td> 
  </tr> 
  <tr> 
   <td>fields terminated by ‘,’</td> 
   <td>各字段之间用逗号分割</td> 
  </tr> 
  <tr> 
   <td>collection items terminated by ‘_’</td> 
   <td>各值之间用下划线分割</td> 
  </tr> 
  <tr> 
   <td>lines terminated by ‘\n’</td> 
   <td>各行之间用回车分割</td> 
  </tr> 
 </tbody> 
</table>

③导入数据到hive表

load data local inpath '/opt/module/hive/datas/personInfo.txt' into table personinfo;

![在这里插入图片描述][304928a866ed4099867e76b1a6948c11.png]

④查看数据

对于map的查询，直接是 **字段\[key\]**

对于array的查询，使用 **字段\[index\]**

对于struct的查询，使用 **字段.key**

select 
        friends[1],
        students['suwukong'],
        address.city
    from personinfo
    where name="tangseng";

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 1]

##### 3、类型转换 #####

① Hive的基本数据类型是可以进行隐式转换的，类似于Java的类型转换

例如：某表达式使用INT类型，TINYINT会自动转换为INT类型

但是Hive不会进行逆向转换，比如INT类型不会自动转换为TINYINT类型，如果想要这种你想转换，需要使用CAST进行强转操作

CAST的使用

CAST('1' AS INT)

将字符’1’转换为整型INT，**如果转换失败，则返回NULL**

②隐式转换的规则

何整数类型都可以隐式地转换为一个范围更广的类型，如INT可以转换成BIGINT。

所有整数类型、FLOAT和STRING类型都可以隐式地转换成DOUBLE。

TINYINT、SMALLINT、INT都可以转换为FLOAT。

BOOLEAN类型不可以转换为任何其它的类型。

③自动转换和强转的区别

当自动转换时，如果两个类型可以转换为同一个类型，比如TINYINT和INT都可以隐式转换为FLOAT，则返回结果为FLOAT，如果强转，则就会返回想要的转换结果

select '1'+2, CAST('1' as INT)+2;

![在这里插入图片描述][watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 2]

如果转换不了，就会返回NULL  
![在这里插入图片描述][644a1933018d47eeb90da80f8aaed078.png]

如果是自动转换，就会报错  
![在这里插入图片描述][6f000c01f0ed49bfb831afea9ac51299.png]

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/d018d3cc11b5457883bf17dda71eb9fe.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[304928a866ed4099867e76b1a6948c11.png]: https://img-blog.csdnimg.cn/304928a866ed4099867e76b1a6948c11.png
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/9556ba523d334a358dbf367838ba1c0f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA54mn56CB5paH_size_20_color_FFFFFF_t_70_g_se_x_16 2]: https://img-blog.csdnimg.cn/1845cad4a3b74cec9799f4a39962ac3f.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA54mn56CB5paH,size_20,color_FFFFFF,t_70,g_se,x_16
[644a1933018d47eeb90da80f8aaed078.png]: https://img-blog.csdnimg.cn/644a1933018d47eeb90da80f8aaed078.png
[6f000c01f0ed49bfb831afea9ac51299.png]: https://img-blog.csdnimg.cn/6f000c01f0ed49bfb831afea9ac51299.png