【hive创建动态分区】使用MSCK命令修复Hive表分区

电玩女神 2021-12-19 00:37 567阅读 0赞

**【hive创建动态分区】使用MSCK命令修复Hive表分区**

一、介绍

我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录，如果目录多，需要执行多条alter语句，非常麻烦。Hive提供了一个"Recover Partition"的功能。

具体语法如下：

> MSCK REPAIR TABLE table\_name;  
> 原理相当简单，执行后，Hive会检测如果HDFS目录下存在但表的metastore中不存在的partition元信息，更新到metastore中。  
> \#当前没有partition元信息  
> hive> show partitions cr\_cdma\_bsi\_mscktest;  
> OK  
> Time taken: 0.104 seconds  
> \#创建两个分区目录  
> hive> dfs -mkdir /user/hive/warehouse/cr\_cdma\_bsi\_mscktest/month=201603;  
> hive> dfs -mkdir /user/hive/warehouse/cr\_cdma\_bsi\_mscktest/month=201604;  
> \#使用MSCK修复分区  
> hive> msck repair table cr\_cdma\_bsi\_mscktest;  
> OK  
> Partitions not in metastore:    cr\_cdma\_bsi\_mscktest:month=201603  
> Partitions not in metastore:    cr\_cdma\_bsi\_mscktest:month=201604  
> Repair: Added partition to metastore cr\_cdma\_bsi\_mscktest:month=201603  
> Repair: Added partition to metastore cr\_cdma\_bsi\_mscktest:month=201604  
> Time taken: 0.286 seconds, Fetched: 2 row(s)  
> \#再次查看，发现已经成功更新元信息  
> hive> show partitions cr\_cdma\_bsi\_mscktest;  
> OK  
> month=201603  
> month=201604  
> Time taken: 0.102 seconds, Fetched: 1 row(s)

参考：https://blog.csdn.net/opensure/article/details/51323220

发表评论取消回复

表情：

评论列表（有 0 条评论，567人围观）

还没有评论，来说两句吧...

相关阅读

相关 hive什么时候用msck修复分区

举个例子创建分区表语法 create table dept( name string,age int ) partitioned by

淩亂°似流年/ 2022年10月30日 09:30/ 0 赞/ 217 阅读

相关 hive 动态分区

[前面文章][Link 1]介绍了Hive中是支持分区的。关系型数据库（如Oracle）中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分

叁歲伎倆/ 2022年06月06日 02:24/ 0 赞/ 275 阅读

相关 hive动态分区

实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入实验步骤 1. 在本地文件/home/grid/a.tx

深藏阁楼爱情的钟/ 2022年06月05日 06:13/ 0 赞/ 301 阅读

相关 HIVE开启严格模式后如何使用msck修复分区

HIVE如何开启严格模式：hive-site.xml中添加： <property> <name>hive.mapred.mode</name> <

一时失言乱红尘/ 2022年05月12日 14:16/ 0 赞/ 273 阅读

相关 Hive动态分区表使用

1.有时候为了更方便地根据某个时间字段来进行增量更新数据，我们可以使用分区。而相对来说，这种时候用动态分区会多一些。 2.首先，先进入Hive命令行，输入一下的设置，打开动态

亦凉/ 2022年03月16日 11:08/ 0 赞/ 326 阅读

相关 Hive分区修复命令MSCK介绍与使用

我们在使用Hive的时候肯定遇到过建立了一张分区表，然后手动（比如使用 cp 或者 mv ）将分区数据拷贝到刚刚新建的表作为数据初始化的手段；但是对于分区表我们需要在hive里

清疚/ 2022年02月27日 08:48/ 0 赞/ 685 阅读

相关 HIVE创建动态和静态分区表

前言为什么需要创建分区表？我这里有一张user表，里面记录了用户的职业、年龄、职业编号的信息，当没有条件查询时，速度如下： ![在这里插入图片描述][2019040

怼烎@/ 2022年02月24日 12:33/ 0 赞/ 373 阅读

相关【hive创建动态分区】hive使用动态分区插入数据详解

【hive创建动态分区】hive使用动态分区插入数据详解往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去

以你之姓@/ 2021年12月19日 00:41/ 0 赞/ 391 阅读

相关【hive创建动态分区】使用MSCK命令修复Hive表分区

【hive创建动态分区】使用MSCK命令修复Hive表分区一、介绍我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候

电玩女神/ 2021年12月19日 00:37/ 0 赞/ 568 阅读

相关 Hive分区修复命令MSCK介绍与使用

我们在使用Hive的时候肯定遇到过建立了一张分区表，然后手动（比如使用 cp 或者 mv ）将分区数据拷贝到刚刚新建的表作为数据初始化的手段；但是对于分区表我们需要在hive里

桃扇骨/ 2021年06月24日 15:58/ 0 赞/ 438 阅读