Hive加载数据操作

梦里梦外; 2022-05-26 03:22 233阅读 0赞

### Hive加载数据操作 ###

#### 一、load data ####

语法结构：

load data [local] inpath 'filepath' [overwrite] into table table_name [partition(part1=val1,part2=val2)]

说明：
    
    1、Load 操作只是单纯的复制/移动操作，将数据文件移动到 Hive 表对应的位置 2、filepath： 相对路径，例如：project/data1 绝对路径，例如：/user/hive/project/data1 包含模式的完整 URI，如：hdfs://namenode:9000/user/hive/project/data1 3、local关键字 如果指定了local，load命令会去查找本地文件系统中的filepath。如果没有指定local关键字，则根据inpath中的uri查找文件 4、overwrite 关键字 如果使用了overwrite关键字，则目标表（或者分区）中的内容会被删除，然后再将filepath指向的文件/目录中的内容添加到表/分区中。 如果目标表（分区）已经有一个文件，并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代。

**1.1 加载本地数据**

# 创建表
    create table tb_load1(id int,name string) row format delimited fields terminated by ',';
    
    # 加载本地数据
    load data local inpath '/home/hadoop/load1.txt' into table tb_load1;

![image][]

**1.2 加载hdfs数据**

load data inpath '/hive/test/load2.txt' into table tb_load1;

![image][image 1]

从hdfs加载数据成功后，数据会删除。

**1.3 加载数据到分区表**

# 创建分区表
    create table tb_load2(id int ,name string) partitioned by (sex string) row format delimited fields terminated by ',';
    
    # 加载数据，数据本身要是分区的数据
    load data inpath '/hive/test/load_part_male.txt' into table tb_load2 partition (sex='male');
    
    load data inpath '/hive/test/load_part_female.txt' into table tb_load2 partition (sex='female');

![image][image 2]

**1.4 使用overwrite关键字**

load data local inpath '/home/hadoop/load3.txt' overwrite into table tb_load1;

![image][image 3]

overwrite会覆盖之前的数据

#### 二、insert语句插入数据 ####

语法结构：

# 重其他表查询结果，插入并覆盖新表
    insert overwrite/into table table_name
    [partition(part=val,part2=val2,...)]
    select fileds,... from tb_other;

多个insert语句插入语法结构：

from table_name t
    insert overwrite table tb1 [partition(col=val,...)]
        select 语句
    insert overwrite table tb2 [partition(col=val,...)]
        select 语句
    ...;

**2.1 简单使用insert语句**

create table tb_select1 (id int,name string,sex string) row format delimited fields terminated by ',';
    
    create table tb_insert1(id int,name string);
    
    insert overwrite table tb_insert1 select id,name from tb_select1;

![image][image 4]

查看下`tb_insert1`表数据

> select \* from tb\_insert1;

![image][image 5]

**使用 insert into进行插入**

insert into table tb_insert1 select id,name from tb_select1 limit 2;

查询结果：

![image][image 6]

**2.2 使用insert语句分区插入**

create table tb_insert_part(id int,name string) partitioned by(sex string);
    
    insert overwrite table tb_insert_part partition(sex = 'male') select id,name from tb_select1 where sex='male';

![image][image 7]

查询结果：

> select \* from tb\_insert\_part;

![image][image 8]

**2.3 多个insert插入**

create table tb_mutil_insert1(id int,name string) partitioned by(sex string);
    
    create table tb_mutil_insert2(id int,name string) partitioned by(sex string);
    
    from tb_select1 t
    insert overwrite table tb_mutil_insert1 partition (sex='male') select t.id,t.name where t.sex='male' insert overwrite table tb_mutil_insert2 partition (sex='female') select t.id,t.name where t.sex='female';

![image][image 9]

查询结果：

![image][image 10]

**2.4 动态分区插入**

create table tb_dy_part(id int,name string) partitioned by(sex string);
    
    insert overwrite table tb_dy_part partition(sex) select id,name,sex from tb_select1;

要使用动态分区，默认是使用严格模式，需要使用分区才行，或者将动态分区模式设置为非严格模式。

FAILED: SemanticException [Error 10096]: Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict

设置动态分区模式为非严格模式

set hive.exec.dynamic.partition.mode=nonstrict

![image][image 11]

#### 三、使用create table的方式，将查询数据插入表中 ####

create table tb_create_mode as select id,name from tb_select1;

![image][image 12]

结果：

![image][image 13]

#### 四、导出数据 ####

**4.1 单条数据导出到本地**

insert overwrite local directory '/home/hadoop/' select id,name from tb_select1;

![image][image 14]

**4.2 多条数据导出到hdfs**

from tb_select1 t
    insert overwrite directory '/hive/test/male' select t.id,t.name,t.sex where t.sex='male' insert overwrite directory '/hive/test/female' select t.id,t.name,t.sex where t.sex='female';

![image][image 15]

[image]: https://raw.githubusercontent.com/zhang3550545/image_center/master/image-2018/hive2-4.png
[image 1]: /images/20220526/d410beec382a4db48168b86bd1d99104.png
[image 2]: /images/20220526/8efd3401c9c34ff0b7481df88b81165d.png
[image 3]: /images/20220526/a2d37e4c643647ceb859f5821f5eeb7b.png
[image 4]: /images/20220526/c5f9b8d640f24093b4f399897049916b.png
[image 5]: /images/20220526/a7d1b1ada02e4cdb96e154a8519d527e.png
[image 6]: /images/20220526/dff482b086ce4c20ac77839f712047b8.png
[image 7]: /images/20220526/9543045c836248dab81f95211abf27b9.png
[image 8]: /images/20220526/ed85d70732a4487e9d1b090b4cdab9b0.png
[image 9]: /images/20220526/98940e3b27cb4875b1320d6897a01113.png
[image 10]: /images/20220526/8619fd07269944d9972c3fc67085a14e.png
[image 11]: /images/20220526/eed5de9ab5984f899026580eb5aa81d7.png
[image 12]: /images/20220526/f7c6aa2ea562434eb956e77377a1e609.png
[image 13]: /images/20220526/ca26171b4ce7482fb0b261a9073905ed.png
[image 14]: /images/20220526/4d0df5a325c343978e1e5ffe282bb44e.png
[image 15]: /images/20220526/1d6bfa92b0084346981d0c49ca5908a5.png