hive数据库将非分区表数据迁移到分区表

水深无声 2024-02-17 08:47 75阅读 0赞

#### 文章目录 ####

*  一、非分区表数据迁移到分区表

## 一、非分区表数据迁移到分区表 ##

业务运行一段时间后非分区表的数据量非常大，需要创建一张分区表并将数据迁移到分区表中。

**原表建表语句：**

create table  user(
    		id  String  default null comment '主键id',
    		name String default null comment '姓名',
    		birthday String default null comment '出生日期'
    ) comment '用户表'
    stored as orc
    location 'hdfs://nameservice1//tmp/wrk/user'
    tblproperties(
    	'transactional'='true'
    )

**分区表建表语句：**

> 新建分区表按出生日期进行分区，新增dt字段作为分区字段

create table  user_bak(
    		id  String  default null comment '主键id',
    		name String default null comment '姓名',
    		birthday String default null comment '出生日期'
    ) comment '用户表'
    partitioned by(
    	 dt String
    )
    stored as orc
    location 'hdfs://nameservice1//tmp/wrk/user'
    tblproperties(
    	'transactional'='true'
    )

**数据迁移**

> 将非分区表的数据迁移到分区表

insert into user_bak  partition(dt)  select *,birthday from user;

> 若sql执行错误，可在insert语句之前先执行下列这个语句，然后再执行insert语句  
> set hive.exec.dynamic.partition = true;

发表评论取消回复

表情：

评论列表（有 0 条评论，75人围观）

还没有评论，来说两句吧...

相关阅读

相关 hive数据库将非分区表数据迁移到分区表

文章目录一、非分区表数据迁移到分区表一、非分区表数据迁移到分区表业务运行一段时间后非分区表的数据量非常大，需要创建一张分区表并将数据迁移到分区表中。

水深无声/ 2024年02月17日 08:47/ 0 赞/ 76 阅读

相关 MaxCompute分区表和非分区表使用对比

[原文链接][Link 1] 摘要：本文我们将通过对有同样数据量、表结构除分区列其他都一模一样的表,从查询计算、写入、删除数据几个简单操作进行对比，了解MaxCompute

怼烎@/ 2022年06月13日 11:43/ 0 赞/ 284 阅读

相关 hive分区表

分区表 1 为什么出现分区表？假设有海量的数据保存在hdfs的某一个hive表明对应的目录下，使用hive进行操作的时候，往往会搜索这个目录下的所有文件，这有时会

朱雀/ 2022年06月12日 05:28/ 0 赞/ 352 阅读

相关数据库分区表

数据库分区表（一）什么情况下需要分区，准备需要分区的数据　什么[数据库][Link 1]需要进行分区？首先看一下我们的案例：2010年6月我们六期IT开发团队接

矫情吗；*/ 2022年06月09日 04:40/ 0 赞/ 222 阅读

相关 Hive分区表简介

简介：如果一个表中数据很多，我们查询时就很慢，耗费大量时间，如果要查询其中部分数据该怎么办呢，这时我们引入分区的概念。 Hive中的分区表分为两种：静态分区和动态分区

浅浅的花香味﹌/ 2022年05月21日 06:45/ 0 赞/ 253 阅读

相关 Hive 分区表

Hive 分区表创建 hive> CREATE TABLE t3(id int,name string,age int) PARTITIONED BY (Year I

小灰灰/ 2022年05月13日 23:11/ 0 赞/ 273 阅读

相关 Hive partition 分区表

分区表实际上就是对应一个HDFS文件系统上的独立的文件夹，该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录，把一个大的数据集根据业务需要分割成小的数据集。在查询时通

迈不过友情╰/ 2022年04月25日 04:14/ 0 赞/ 349 阅读

相关 MaxCompute分区表和非分区表使用对比

原文链接：\[url\]http://click.aliyun.com/m/25142/\[/url\] 摘要：本文我们将通过对有同样数据量、表结构除分区列其他都一模一样

我就是我/ 2022年04月06日 09:18/ 0 赞/ 223 阅读

相关 hive 将一个分区表数据全部插入另外一个分区表

假如现在hive有个分区表A，分区字段为dt 需求是：需要将A表中的数据全部插入到分区表B中具体步骤如下： 1.create B like A； 2.插入数据 se

系统管理员/ 2022年01月14日 03:19/ 0 赞/ 408 阅读

相关 hive 分区表

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际

缺乏、安全感/ 2021年06月24日 14:37/ 0 赞/ 601 阅读