hive load data使用总结，很好解决了insert插入中文数据后乱码问题

ゝ一世哀愁。 2022-03-09 07:29 1059阅读 0赞

hive insert 中文数据乱码，如下：

insert into dt.test_test PARTITION (ymd = '2018-12-03') values("name#certno","张三#532901199103131815","FINANCE_ORGANIZATION","AA00002","asdfasdf","01","LOAN_GRAY","2018-10-23 13:00:00.000");

![name变成了乱码][name]  
是不是很烦心呢，可以采用下面的方法避免插入的中文为乱码，还可以方便批量造数据后导入hive表。

一、创建表  
Hive建表时指定行分隔符为"\\t"，列分隔符为"\\n"。

hive -e "CREATE EXTERNAL TABLE dt.test_test (
      dim string,
      reason string ,
      deci string ,
      type string ,
      reason string 
    )
    PARTITIONED BY (ymd string)
    ROW FORMAT DELIMITED  
    FIELDS TERMINATED BY '\t' 
    LINES TERMINATED BY '\n';"

二、导出表数据

hive -e "select * from dt.test_test" > /tmp/test/test.txt

编辑test.txt，新增、修改、删除数据  
![在这里插入图片描述][20190312170922663.png]  
三、使用load data导入hdfs文件管理系统

方法一：hive命令行本地导入  
load data local inpath ‘/tmp/test/test.txt’ overwrite into table dt.test\_test PARTITION (ymd=“2018-12-19”);  
![在这里插入图片描述][20190312171322914.png]  
查询dt.test\_test，乱码完美解决，可以开心造数据了。![在这里插入图片描述][2019031217135393.png]  
方法二：hive命令行hdfs导入  
load data inpath ‘yangcong/res.txt’ overwrite into table temp.test\_test PARTITION (ymd=“2018-12-19”);  
![在这里插入图片描述][20190428135626967.png]  
方法三：hue web页面导入  
load data inpath ‘yangcong/res.txt’ overwrite into table temp.test\_test PARTITION (ymd=“2018-12-20”);  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70]  
四、查询导入结果  
查询temp.test\_test，乱码完美解决，可以开心造数据了。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 1]

[name]: /images/20220309/e8d403caa3e74cfab34885229984abe4.png
[20190312170922663.png]: /images/20220309/d5586336a26747dfbdd50b7d44385b7a.png
[20190312171322914.png]: /images/20220309/e37df012e04b4dafa311f8a5311b009c.png
[2019031217135393.png]: /images/20220309/291325a6a8244f9c84f8a4e1c847983b.png
[20190428135626967.png]: /images/20220309/595f4a2dcd1f41a4b2e333a994303ee6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70]: /images/20220309/ddb41a3d06dd4804a69bf8def5dfd46c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2EyMDA4MjIxNDYwODU_size_16_color_FFFFFF_t_70 1]: /images/20220309/605adb066b264211923a367418ebe82d.png