HIVE 基础（二）

冷不防 2024-03-26 10:32 77阅读 0赞

**目录**

Hive数据类型 - 集合数据类型

Hive数据结构

创建静态表

加载本地文件

加载HDFS文件

加载数据后覆盖原数据

创建分区表

分区表插入数据

查看分区表信息

多字段分区

插入数据

数据表

内部表（管理表）

外部表（External Tables）

创建外部

--------------------

### **Hive数据类型 - 集合数据类型** ###

> **ARRAY：存储的数据为相同类型** 
> 
> **MAP：具有相同类型的键值对** 
> 
> **STRUCT：封装了一组字段**

<table> 
 <thead> 
 <tr> 
 <th>类型</th> 
 <th>格式</th> 
 <th>定义</th> 
 <th>示例</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td> ARRAY </td> 
 <td> ['Apple','Orange','Mongo'] </td> 
 <td> ARRAY&lt;string&gt; </td> 
 <td> a[0]&nbsp;=&nbsp;'Apple' </td> 
 </tr> 
 <tr> 
 <td> MAP </td> 
 <td> {'A':'Apple','O':'Orange'} </td> 
 <td> MAP&lt;string,string&gt; </td> 
 <td> b['A']&nbsp;=&nbsp;'Apple' </td> 
 </tr> 
 <tr> 
 <td> STRUCT </td> 
 <td> {'Apple',2} </td> 
 <td> STRUCT&lt;fruit:string,weight:int&gt; </td> 
 <td> c.weight&nbsp;=&nbsp;2 </td> 
 </tr> 
 </tbody> 
</table>

### Hive数据结构 ###

<table style="width:500px;"> 
 <thead> 
 <tr> 
 <th>数据结构</th> 
 <th>描述</th> 
 <th>逻辑关系</th> 
 <th>物理存储（HFDS）</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td> Database </td> 
 <td> 数据库 </td> 
 <td> 表的集合 </td> 
 <td> 文件夹 </td> 
 </tr> 
 <tr> 
 <td> Table </td> 
 <td> 表 </td> 
 <td> 行数据的集合 </td> 
 <td> 文件夹 </td> 
 </tr> 
 <tr> 
 <td> Partition </td> 
 <td> 分区 </td> 
 <td> 用于分割数据 </td> 
 <td> 文件夹 </td> 
 </tr> 
 <tr> 
 <td> Buckets </td> 
 <td> 分桶 </td> 
 <td> 用于分布数据 </td> 
 <td> 文件 </td> 
 </tr> 
 <tr> 
 <td> Row </td> 
 <td> 行 </td> 
 <td> 行记录 </td> 
 <td> 文件中的行 </td> 
 </tr> 
 <tr> 
 <td> Columns </td> 
 <td> 列 </td> 
 <td> 列记录 </td> 
 <td> 每行中指定的位置 </td> 
 </tr> 
 <tr> 
 <td> Views </td> 
 <td> 视图 </td> 
 <td> 逻辑概念，可跨越多张表 </td> 
 <td> 不存储数据 </td> 
 </tr> 
 <tr> 
 <td> Index </td> 
 <td> 索引 </td> 
 <td> 记录统计数据信息 </td> 
 <td> 文件夹 </td> 
 </tr> 
 </tbody> 
</table>

在opt下面创建一个 employee.txt 文件，把数据加到txt文件中

### 创建静态表 ###

create table if not exists employee(
 name string,
 work_place array<string>,
 gender_age struct<gender:string,age:int>,
 skills_score map<string,int>,
 depart_title map<string,string>
 )
 row format delimited fields terminated by '|'
 collection items terminated by ','
 map keys terminated by ':'
 lines terminated by '\n';

> **row format delimited 含义是：分隔符设置开始语句**
> 
> **fields terminated by '|' 含义是：设置字段与字段之间的分隔符为“|”  
> collection items terminated by ',' 含义是：设置一个复杂类型（array,struct)字段的各个item之间的分隔符为 “,”  
> map keys terminated by ':' 含义是：设置一个复杂类型(Map)字段的key value之间的分隔符为 “:”  
> lines terminated by '\\n'; 含义是：设置行与行之间的分隔符为 “\\n”**

### 加载本地文件 ###

> 0: jdbc:hive2://192.168.152.192:10000> load data local inpath '/opt/employee.txt' into table employee;

### 加载HDFS文件 ###

> 这步需要先把txt文件上传到hdfs上面
> 
> 0: jdbc:hive2://192.168.152.192:10000> load data inpath '/employee.txt' into table employee;

### 加载数据后覆盖原数据 ###

> 0: jdbc:hive2://192.168.152.192:10000> load data inpath '/employee.txt' overwrite into table employee;

### 创建分区表 ###

create table employee2(
 name string,
 work_place array<string>,
 gender_age struct<gender:string,age:int>,
 skills_score map<string,int>,
 depart_title map<string,string>
 )
 partitioned by (age int)
 row format delimited 
 fields terminated by '|'
 collection items terminated by ','
 map keys terminated by ':'
 lines terminated by '\n';

> partitioned by (age int) 含义是：创建分区 以age分区

### 分区表插入数据 ###

> 0: jdbc:hive2://192.168.152.192:10000> load data local inpath '/opt/employee.txt' into table employee2 partition(age=20);
> 
>   
> 0: jdbc:hive2://192.168.152.192:10000> load data local inpath '/opt/employee.txt' into table employee2 partition(age=30);

### 查看分区表信息： ###

> show partitions employee2;

### 多字段分区 ###

create table employee3(
 name string,
 work_place array<string>,
 gender_age struct<gender:string,age:int>,
 skills_score map<string,int>,
 depart_title map<string,string>
 )
 partitioned by (age int , gender string)
 row format delimited 
 fields terminated by '|'
 collection items terminated by ','
 map keys terminated by ':'
 lines terminated by '\n';

### 插入数据 ###

> 0: jdbc:hive2://192.168.152.192:10000> load data local inpath '/opt/employee.txt' into table employee3 partition(age=20,gender='0');
> 
>   
> 0: jdbc:hive2://192.168.152.192:10000> load data local inpath '/opt/employee.txt' into table employee3 partition(age=20,gender='1');

### 数据表 ###

数据表分为内部表和外部表

#### 内部表（管理表） ####

*  HDFS中为所属数据库目录下的子文件夹
 *  数据完全由Hive管理，删除表(元数据)会删除数据

#### 外部表（External Tables） ####

*  数据保存在指定位置的HDFS路径中
 *  Hive不完全管理数据，删除表(元数据)不会删除数据

上传数据内容

> hdfs dfs -put ./employee.txt /tmp/hivedata/employee/

### 创建外部 ###

create external table if not exists employee(
 name string,
 work_place array<string>,
 gender_age struct<gender:string,age:int>,
 skills_score map<string,int>,
 depart_title map<string,string>
 )
 row format delimited 
 fields terminated by '|'
 collection items terminated by ','
 map keys terminated by ':'
 lines terminated by '\n
 location '/tmp/hivedata/employee';

> 创建外部表要在create后面加上一个 external
> 
> location '/tmp/hivedata/employee'; 含义是：指定数据存储路径（HDFS）