Hive insert插入数据与with子查询

秒速五厘米 2022-09-11 10:20 13阅读 0赞

# **1. insert into 与 insert overwrite区别** #

insert into 与 insert overwrite 都可以向hive表中插入数据，但是insert into直接追加到表中数据的尾部，而insert overwrite会重写数据，既先进行删除，再写入

注意：如果存在分区的情况，insert overwrite只重写当前分区数据，不会全部重写

# 2. insert 与 with as 子查询一起使用 #

当在hive中同时使用insert into(overwrite) table xx 与with子查询时候，**需要将insert放在with as子查询后面**

WITH TEMP_A AS (
    		SELECT TIME,IOT_ID,NAME FROM IOT_XX_A
    	),
        TEMP_B AS (
    		SELECT TIME,IOT_ID,NAME,COUNT(DISTINCT IOT_ID) AS TIMES FROM TEMP_A
    			GROUP BY TIME,IOT_ID,NAME
    	)
    
    INSERT INTO TABLE TABLE_B	
    	SELECT TIME,IOT_ID,NAME,TIMES FROM TEMP_B

注意： 当使用以下语句建表时，**需要将create放在with as子查询前面**

DROP TABLE IF EXISTS xx ;
    CREATE TABLE xx AS
    WITH TEMP_A AS (
    		SELECT TIME,IOT_ID,NAME FROM IOT_XX_A
    	),
        TEMP_B AS (
    		SELECT TIME,IOT_ID,NAME,COUNT(DISTINCT IOT_ID) AS TIMES FROM TEMP_A
    			GROUP BY TIME,IOT_ID,NAME
    	)
    SELECT TIME,IOT_ID,NAME,TIMES FROM TEMP_B

参考资料：

1. [Hive踩过的坑-Hive的insert与with as 语句搭配 – 记忆角落][Hive_-Hive_insert_with as _ _]

2. [一文搞定hive之insert into 和 insert overwrite与数据分区\_su83362368的博客-CSDN博客][hive_insert into _ insert overwrite_su83362368_-CSDN]

[Hive_-Hive_insert_with as _ _]: https://199604.com/967
[hive_insert into _ insert overwrite_su83362368_-CSDN]: https://blog.csdn.net/su83362368/article/details/78502542/

发表评论取消回复

表情：

评论列表（有 0 条评论，13人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL INSERT INTO 插入数据

将查寻结果插入另一张表： `目标表`和`字段`必须存在(如果有非空字段不能漏) INSERT INTO 目标表(字段1, 字段2, 字段3)

痛定思痛。/ 2023年07月07日 03:44/ 0 赞/ 29 阅读

相关大数据开发之Hive篇10-Hive查询with语句

备注: Hive 版本 2.1.1 文章目录一.Hive with语句概述二.Hive with语句测试案例测试数据 -- creat

╰半橙微兮°/ 2023年01月01日 03:45/ 0 赞/ 187 阅读

相关批量与分段插入insert数据到数据库中

问题现象：项目中的一个程序，其中包括了插入数据库的逻辑，但由于是单条数据插入，所以入库就很慢，利用批量插入提高速度。 -------------------- 问

傷城~/ 2022年11月15日 11:17/ 0 赞/ 265 阅读

相关 MyBatis 动态插入数据 insert

原文地址：[http://my.oschina.net/gengjie2/blog/372430][http_my.oschina.net_gengjie2_blog_3724

悠悠/ 2022年09月22日 14:56/ 0 赞/ 230 阅读

相关 hive 子查询特别分析

http://blog.csdn.net/ls3648098/article/details/9630357 Hive只在FROM字句支持子查询。子查询必须给一个名字，因为每

布满荆棘的人生/ 2022年09月19日 04:26/ 0 赞/ 7 阅读

相关 Hive insert插入数据与with子查询

1. insert into 与 insert overwrite区别 insert into 与 insert overwrite 都可以向hive表

秒速五厘米/ 2022年09月11日 10:20/ 0 赞/ 14 阅读

相关 insert 插入数据

语法格式： insert into 表名称\[(字段名称1，字段名称2……)\]values\[（值1,值2,……）\] 创建备份表myemp cre

川长思鸟来/ 2022年08月18日 02:39/ 0 赞/ 208 阅读

相关 Hive 子查询特别分析

Hive只支持在FROM子句中使用子查询，子查询必须有名字，并且列必须唯一：SELECT ... FROM(subquery) name ... 确认下是否一定要求列必须唯一

爱被打了一巴掌/ 2022年08月07日 10:54/ 0 赞/ 213 阅读

相关往hive表中插入与导出数据方式load ,insert ,sqoop 等方式详解

往hive数据仓库的表中导入数据，可以直接insert ，也可以选择load方式。当然也可以通过第三方工具如sqoop等将数据导入到hive当初。特别注意：hive

古城微笑少年丶/ 2022年05月24日 03:54/ 0 赞/ 215 阅读

相关关于Oracle Insert 语句的子查询和 with check option的用法

今日睇ocp教程发现 insert语句还可以子查询例如： INSERT INTO (SELECT employee_id, last_n

电玩女神/ 2022年03月19日 12:47/ 0 赞/ 311 阅读