把Excel、CSV导入到HIVE中

「爱情、让人受尽委屈。」 2021-09-23 08:26 664阅读 0赞

## 把Excel、CSV导入到HIVE中 ##

--------------------

> 这里以Excel为例，csv与Excel类似

### 先把Excel导出为txt格式的文本文件 ###

表如下显示，数据为真实数据已做处理：

<table> 
 <thead> 
  <tr> 
   <th>身份证</th> 
   <th>姓名</th> 
   <th>性别</th> 
   <th>所在地</th> 
   <th>手机号码</th> 
   <th>单位名称</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>210504********131X</td> 
   <td>刘*鹏</td> 
   <td>男</td> 
   <td>海曙区</td> 
   <td>1365574****</td> 
   <td>宁波市海曙****服装店</td> 
  </tr> 
  <tr> 
   <td>330203********2730</td> 
   <td>黄*明</td> 
   <td>男</td> 
   <td>海曙区</td> 
   <td>1560661****</td> 
   <td>宁波市海曙**安装队</td> 
  </tr> 
  <tr> 
   <td>330203********1530</td> 
   <td>陈小*</td> 
   <td>男</td> 
   <td>江北区</td> 
   <td>1370574****</td> 
   <td>宁波****有限公司</td> 
  </tr> 
  <tr> 
   <td>330203********2733</td> 
   <td>**云</td> 
   <td>男</td> 
   <td>海曙区</td> 
   <td></td> 
   <td>宁波市海曙****机械厂</td> 
  </tr> 
  <tr> 
   <td>330203********0317</td> 
   <td>姜永*</td> 
   <td>男</td> 
   <td>鄞州区</td> 
   <td>1595885****</td> 
   <td>宁波市北仑区****有限公司</td> 
  </tr> 
 </tbody> 
</table>

把表另存为txt格式：

![另存为][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MTYyMDkw_size_16_color_FFFFFF_t_70]

xxx.txt如下图  
![txt格式][txt]

这里需要注意两点：在保存文件的时候（这里推荐使用Notepad++）

*  **把编码改成UTF-8** \- 点击【编码】-> 选择【UTF-8】
 *  **把文档格式转换成Unix** \- 点击【编辑】-> 选择【文档格式转换】-> 选择【转为Unix】

> 你可以先不管这个，但是你还是会回来的。。。

### 把处理后的文件放到服务器上 ###

这里根据需求，把处理后的txt文件放到服务器上。

![上传至服务器][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MTYyMDkw_size_16_color_FFFFFF_t_70 1]

> 这里笔者试用的SSH连接的Linux系统。

### 在hive中 建立相对应的表 ###

在hive环境下执行如下语句：

create table default.tmp_xzy ( 
        sfz STRING COMMENT '身份证', xm STRING COMMENT '姓名', 
        xb STRING COMMENT '性别', dylqd STRING COMMENT '待遇领取地',
        sjhm STRING COMMENT '手机号码',dwmc STRING COMMENT '单位名称'
        ) row format delimited 
        fields terminated by '\t' -- 列与列用 制表符 分割
        lines terminated by '\n' -- 行与行用 回车符 分割
        stored as textfile;

### 导入文件服务器中的txt文件 ###

在hive环境下执行如下语句把文本文件导入hive中：

load data local inpath '/home/xzy/xxx.txt' overwrite into table default.tmp_xzy;

### 查看数据，验证成果 ###

在hive环境下执行语句，查询数据。

select * from default.tmp_xzy

![hive结果][hive]

结果正确。  
事实证明不需要把字段名加上

如果乱码，请回去看保存txt的注意事项。

#### 清除表数据 ####

如果 出现问题 可以清除表的数据，以便重新导入数据；或删表重建。

-- 方法一
    truncate table default.tmp_xzy; -- 清除表数据
    -- 方法二
    drop table default.tmp_xzy; -- 删表，重建

> 注意：这里不能使用delete
> 
> hive不支持 delete from 表名 where 1 = 1 ;

### 写在最后 ###

打个小广告

如果对您有帮助，点个赞哟~

欢迎大家关注公众号【再喝最后一杯珍珠奶茶】。

--------------------

![logo][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MTYyMDkw_size_16_color_FFFFFF_t_70]: /images/20210923/7a3b7f6741534232991a12c997a26e4a.png
[txt]: /images/20210923/c96b6d4621064fee818b01204614fd43.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM3MTYyMDkw_size_16_color_FFFFFF_t_70 1]: /images/20210923/8d00270061d046d085f9a0224683624c.png
[hive]: /images/20210923/ac53c5c95e05445cb2b2bc8b4225f0d1.png
[logo]: /images/20210923/a9eae15e3bae4f04b67e8c4040fcbb07.png