大数据hive数仓平台如何通过文件导入导出数据

淡淡的烟草味﹌ 2023-07-14 05:28 6阅读 0赞

### 文本文件数据导入 ###

首先把文件转成csv的格式(推荐是csv,并不一定非要是csv，txt，excel也可以，但稳定性不如csv)，字符编码推荐utf8

然后在资源管理里选择上传资源-，把你的文件上传到平台，例如叫demo.csv

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vY2hvdTExMQ_size_16_color_FFFFFF_t_70][]

上传完之后就可以写sql把数据导入到表里了(导入的目标表需要先建表，且结构与文本文件里的一致)

-- 文件路径在上图的复制资源路径里
    load data '/user/datacompute/users/qiubiao.li/demo.csv' 
    -- 这个table名是系统临时表名，起到一个过渡的作用，即先导入临时表再导入到目的表
    table tdl_spark_test 
    -- 文件以什么符合分割的就采取什么符号
    options( delimiter=',');
    -- 这个就是普通的overwrite语句了
    insert overwrite table  hhy_dw.cl_lx_liqb_tmp   select * from tdl_spark_test ;

### 数据导出成文本文件 ###

小数据量(1000以下)，可直接点击平台上的导出按钮来导出，该方法仅适用于小数据量(各大数据平台都有自己的一套机制)

对于大数据量需要先在平台上导出成文件，再把文件download下来

导出文件sql

-- 建立临时表，跟导入不同的是，导入是系统表，该表是真的意义上的临时表，生命周期1天
    create table tdl_0_0111 lifecycle 1
    -- 下面这条语句是你想要导出的数据
    select id,name from project.table1;
    -- 导出数据到文件
    export table tdl_0_0111 TO 'demo_export.csv' options(delimiter=',');

sql运行完毕后数据文件会在我的资源里，然后选择下载到本地就可以了

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21vY2hvdTExMQ_size_16_color_FFFFFF_t_70]: /images/20230529/ae73f894d2434b6fb1a95830ab6b36f4.png