hive的静态分区与动态分区-用法实例

女爷i 2023-01-06 13:58 69阅读 0赞

### 概述 ###

本文是对\[3\]的复现

所有的SQL操作都在下方gitee链接中

[https://gitee.com/appleyuchi/Flink\_Code/blob/master/hive动态静态分区/hive.sql][https_gitee.com_appleyuchi_Flink_Code_blob_master_hive_hive.sql]

### 静态分区 ###

<table style="width:696px;"> 
 <tbody> 
  <tr> 
   <td><strong>分区叫法</strong></td> 
   <td><strong>表格举例</strong></td> 
   <td style="width:362px;"><strong>不同种类分区在HDFS上存放的文件结构</strong></td> 
  </tr> 
  <tr> 
   <td>单分区/一级分区/主分区</td> 
   <td>t1</td> 
   <td style="width:362px;">/user/hive/warehouse/<strong>t1/department=depart-1</strong></td> 
  </tr> 
  <tr> 
   <td>多分区/多级分区/副分区</td> 
   <td>t2</td> 
   <td style="width:362px;">/user/hive/warehouse/<strong>t2/department=GBD/sex=F</strong></td> 
  </tr> 
 </tbody> 
</table>

可以看到你所谓的多分区和单分区其实主要取决于数据在HDFS上存放的结构是否是多级文件夹结构.

### 动态分区 ###

建立r3,t4表

t3表导入t4表

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FwcGxleXVjaGk_size_16_color_FFFFFF_t_70][]

这里注意:  
因为t3比t4多了2个字段,  
所以t4会以多出来的这两个字段进行动态分区(也就是HDFS上的多级目录结构)

### 区别 ###

**静态分区是的导入数据的时候,分区名是写死的.**

**动态分区是导入数据时,根据数据所属字段的取值进行动态分区.**

## ##

### **动静(半动态)分区混合使用** ###

建立r0,t5表

t0表导入t5表

这个动静结合体现在哪里呢?

静态体现在coutry='china'写死

动态体现在t0的字段比t5多了一个,多出来的字段,作为数据导入t5后的分区

### 查看Hive表的分区结构具体操作 ###

打开:

[http://desktop:9870/explorer.html\#/][http_desktop_9870_explorer.html]

搜索:

/user/hive/warehouse/t1/department=depart-1

如下:

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FwcGxleXVjaGk_size_16_color_FFFFFF_t_70 1][]

**Reference:**

**\[1\][hive一级分区、二级分区、动态分区][hive]**

**\[2\][hive静态分区和动态分区区别][hive 1]**

**\[3\][Hive中的静态分区和动态分区使用与区别详解][Hive]**

[https_gitee.com_appleyuchi_Flink_Code_blob_master_hive_hive.sql]: https://gitee.com/appleyuchi/Flink_Code/blob/master/hive%E5%8A%A8%E6%80%81%E9%9D%99%E6%80%81%E5%88%86%E5%8C%BA/hive.sql
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FwcGxleXVjaGk_size_16_color_FFFFFF_t_70]: /images/20221119/4f7c6c22d90846ae95b6c8bc632330ea.png
[http_desktop_9870_explorer.html]: http://desktop:9870/explorer.html#/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FwcGxleXVjaGk_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210114193942208.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FwcGxleXVjaGk=,size_16,color_FFFFFF,t_70
[hive]: https://www.cnblogs.com/cnblogs-syui/p/12512788.html
[hive 1]: https://blog.csdn.net/weixin_37139561/article/details/90384036
[Hive]: https://blog.csdn.net/weixin_43230682/article/details/107208396

发表评论取消回复

表情：

评论列表（有 0 条评论，69人围观）

还没有评论，来说两句吧...

相关阅读

相关动态分区与静态分区

静态分区在插数语句的后边就要添加字段和字段值后，不需要再sql的查询语句再添加该字段动态分区再插数语句后边添加字段后，还需要在sql的查询语句的最后，把该字段加上转载于

朱雀/ 2023年06月05日 12:37/ 0 赞/ 260 阅读

相关 Hive动态分区

1.创建表 create table dept_no_par(dname string,loc string) partitioned by (deptno

水深无声/ 2023年01月18日 12:23/ 0 赞/ 77 阅读

相关 hive的静态分区与动态分区-用法实例

概述本文是对\[3\]的复现所有的SQL操作都在下方gitee链接中 [https://gitee.com/appleyuchi/Flink\_Code/blob

女爷i/ 2023年01月06日 13:58/ 0 赞/ 70 阅读

相关 hive 动态分区

[前面文章][Link 1]介绍了Hive中是支持分区的。关系型数据库（如Oracle）中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分

叁歲伎倆/ 2022年06月06日 02:24/ 0 赞/ 275 阅读

相关 hive动态分区

实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入实验步骤 1. 在本地文件/home/grid/a.tx

深藏阁楼爱情的钟/ 2022年06月05日 06:13/ 0 赞/ 301 阅读

相关 HIVE动态分区实战

HIVE动态分区实战一）hive中支持两种类型的分区：静态分区SP（static partition）动态分区DP（dynamic partition

骑猪看日落/ 2022年05月22日 11:53/ 0 赞/ 273 阅读

相关 HIVE创建动态和静态分区表

前言为什么需要创建分区表？我这里有一张user表，里面记录了用户的职业、年龄、职业编号的信息，当没有条件查询时，速度如下： ![在这里插入图片描述][2019040

怼烎@/ 2022年02月24日 12:33/ 0 赞/ 374 阅读

相关 hive动态分区和静态分区

hive动态分区和静态分区一）hive中支持两种类型的分区：静态分区SP（static partition）动态分区DP（dynamic partit

灰太狼/ 2022年02月05日 07:45/ 0 赞/ 407 阅读

相关 hive中的静态分区与动态分区

hive中创建分区表没有什么复杂的分区类型(范围分区、列表分区、hash分区、混合分区等)。分区列也不是表中的一个实际的字段，而是一个或者多个伪列。意思是说在表的数据文件中实际

太过爱你忘了你带给我的痛/ 2022年01月12日 12:15/ 0 赞/ 368 阅读

相关【hive创建动态分区】hive使用动态分区插入数据详解

【hive创建动态分区】hive使用动态分区插入数据详解往hive分区表中插入数据时，如果需要创建的分区很多，比如以表中某个字段进行分区存储，则需要复制粘贴修改很多sql去

以你之姓@/ 2021年12月19日 00:41/ 0 赞/ 392 阅读