如何在Hive中更新拉链表

爱被打了一巴掌 2024-04-08 13:17 86阅读 0赞

#### 这里写目录标题 ####

*  拉链表
 *   *  初始条件：
     *  具体操作：
     *   *  准备工作：
         *  第一步：让有效数据过期（针对有更新的数据）
         *  第二步：union all 拉链表和临时表update（加上新增和更新的数据）,并导入到tmp表；
         *  第三步：将结果临时表temp 覆盖原始拉链表

## 拉链表 ##

**作用**：用来解决历史变更数据是否维护的情况；

用来记录历史数据，记录一个事物从开始一直到当前状态的所有变化的信息。

拉链表有**start\_time**和**end\_time**字段来记录**每条数据的生命周期**；

**有效数据**：即指的是数据的**end\_time**=‘9999-12-31’  
**过期数据**：即指的是数据的**end\_time**不等于‘9999-12-31’

### 初始条件： ###

**ODS层 原始拉链表**：  
![在这里插入图片描述][8f7403b0741c42829985ed8e69dedadc.png]  
**临时表**：包含新增和更新的数据  
![在这里插入图片描述][cf8321e3a36b4b66a85e45213cd25b4d.png]

### 具体操作： ###

#### 准备工作： ####

*  【在hive的ODS层】构建临时表 **`update`** ，用于存新增、更新数据 ，
 *  将MySQL中新增、更新的数据导入临时表 **`update`**（sqoop）；
 *  【在hive的ODS层】构建最终结果临时表 **`tmp`**，用于存储**最终结果**， tmp会覆盖原始拉链表！

#### 第一步：让有效数据过期（针对有更新的数据） ####

目的是将需要更新的数据置为过期；  
而已经过期的数据则不管；

**用【ODS层】的 原拉链表 LEFT JOIN 临时表update：**  
![在这里插入图片描述][4a5b87d8bc0844cd84b23283fd77b530.png]

![在这里插入图片描述][f6b33f94e98a4251842201c450773d34.png]  
**当某id原始数据有效（9999-12-31） 且 临时表中有数据！ 则要改编end\_time ！**  
即只需要更新的数据处理，让数据过期；

#### 第二步：union all 拉链表和临时表update（加上新增和更新的数据）,并导入到tmp表； ####

使用union all 进行上下合并（union会去重）；![在这里插入图片描述][a8b9a7b8d8164f9a98d32828288949c5.png]  
\+  
**insert overwrite `tmp` select \* from (以上sql) ;**

**最终结果**：  
![在这里插入图片描述][70ceceae5f334af6ac9e4c0a4bc1e3f2.png]

#### 第三步：将结果临时表temp 覆盖原始拉链表 ####

在更新拉链表时，可能会失败，而在**sql**中使用到了原始拉链表，如果再覆盖原始拉链表，数据容易出问题；

所以对生成的结果存在最终临时表**tmp**中，然后再覆盖到原表；  
![在这里插入图片描述][6a982814f4164e958c6ce50be2ea1ed5.png]

[8f7403b0741c42829985ed8e69dedadc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/e06e513418224d4583f7aec1c6f77907.png
[cf8321e3a36b4b66a85e45213cd25b4d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/6513887bbfaa467cbbcf130a4805d871.png
[4a5b87d8bc0844cd84b23283fd77b530.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/c8815a6d0bd5497ebb735cbfb9b27223.png
[f6b33f94e98a4251842201c450773d34.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/89810739f505447d950348c6ba32c843.png
[a8b9a7b8d8164f9a98d32828288949c5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/f328b5e540014c36b81d3f2d8078d077.png
[70ceceae5f334af6ac9e4c0a4bc1e3f2.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/14727097f43e43f28395847235837f19.png
[6a982814f4164e958c6ce50be2ea1ed5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/08/238182309c1543d3bac38364ce835d4c.png