一起学Hive——详解四种导入数据的方式

╰+攻爆jí腚メ 2022-02-16 11:06 320阅读 0赞

在使用Hive的过程中，导入数据是必不可少的步骤，不同的数据导入方式效率也不一样，本文总结Hive四种不同的数据导入方式：

*  从本地文件系统导入数据
 *  从HDFS中导入数据
 *  从其他的Hive表中导入数据
 *  创建表的同时导入数据

使用导入数据时，会使用到into和overwrite into两个关键字，into是在当前表追加数据，而overwrite into是删除当前表的数据然后在导入数据。

### 从本地系统导入数据 ###

在Hive中创建load\_data\_local表，该表中有两个字段，一个是name一个是age。创建表的SQL语句如下:

create table if not exists load_data_local(name string,age int) row format delimited fields terminated by ' ' lines terminated by '\n';

在本地文件系统中创建一个load\_data\_local.txt的文件，然后往里面写入数据，数据之间用空格分隔。数据为：

zhangsan 30 
    lisi 50 
    wangwu 60 
    peiqi 6

执行`load data local inpath '/home/hadoop/hive_test/load_data_local.txt' into table load_data_local;`命令，即可将本地系统中的文件的数据导入到Hive表中。

在使用从本地系统导入数据大Hive表中时，文件的路径必须使用绝对路径。

有两种方式验证数据是否导入成功，一种是在Hive中执行`select * from load_data_local。`另外一种是查看hdfs文件系统中的load\_data\_local目录下面是否有刚刚上传的load\_data\_local.txt文件，查看命令为：`hadoop fs -ls /user/hive/warehouse/bigdata17.db/load_data_local`，结果为：

18/10/07 02:37:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable Found 1 items -rwxr-xr-x 3 root supergroup 38 2018-10-07 02:24 /user/hive/warehouse/bigdata17.db/load_data_local/load_data_local.txt

### 从HDFS中导入数据 ###

在Hive中创建load\_data\_hdfs表，表中有两个字段，分别是name和age。创建表的SQL如下：

create table if not exists load_data_hdfs(name string,age int) row format delimited fields terminated by ' ' lines terminated by '\n';

在本地文件系统创建文件load\_data\_hdfs.txt文件，然后往里面写入数据。

将load\_data\_hdfs.txt文件上传到HDFS的data目录下面，命令为：`hadoop fs -put load_data_hdfs.txt /data`

在Hive中执行命令：  
`load data inpath 'data/load_data_hdfs.txt' into table load_data_hdfs;`  
即可将数据导入到Hive的load\_data\_hdfs表中。  
从本地系统导入数据和从hdfs文件系统导入数据用的命令都是load data，但是从本地系统导入数据要加local关键字，如果不加则是从hdfs文件系统导入数据。

从hdfs文件系统导入数据成功后，会把hdfs文件系统中的load\_data\_hdfs.txt文件删除掉。

### 从其他的Hive表中导入数据 ###

这种方式要求目标表和源表都必须存在。  
创建一个要导入数据的目标表，SQL如下：

create table if not exists load_data_local2(name string,age int) row format delimited fields terminated by ' ' lines terminated by '\n';

导入数据的SQL：

insert into table load_data_local2 select * from load_data_local;

这种数据导入方式也适用于分区表和分桶表的情况。本文只介绍导入分区表的情况，导入数据到分区表分为静态分区和动态分区两种方式。

我们先创建一个分区表，SQL如下：

create table if not exists load_data_partition(name string) partitioned by(age int) row format delimited fields terminated by ' ' lines terminated by '\n';

将数据导入分区表必须先在Hive中执行下面两句语句：

set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict;

静态方式将load\_data\_local表的数据导入到load\_data\_partition表的sql语句如下：

insert into table load_data_partition partition(age=25) select name from load_data_local;

这种方式必须显示的指定分区值，如果分区有很多值，则必须执行多条SQL，效率低下。

动态方式将load\_data\_local表的数据导入到load\_data\_partition表的sql语句如下：

insert overwrite table load_data_partition partition select name,age from load_data_local;

这种方式要注意目标表的字段必须和select查询语句字段的顺序和类型一致，特别是分区字段的类型要一致，否则会报错。

一张表有两个以上的分区字段，如果同时使用静态分区和动态分区导入数据，静态分区字段必须写在动态分区字段之前。

Hive还支持一条SQL语句中将数据插入多个表的功能，只需将from关键字前置即可：

from load_data_local insert overwrite table load_data_partition partition (age) select name,age insert overwrite table load_data_local3 select *

上面的sql语句同时插入到表load\_data\_partition和load\_data\_local3表中。这种方式非常高效，对于大数据量并且要将数据插入到多个表的情况下，建议用这种方式。