Oracle海量数据清理-表空间释放

谁践踏了优雅 2022-08-29 00:14 586阅读 0赞

## Oracle海量数据清理-表空间释放 ##

### 背景 ###

风控项目运行三年，相关数据源对接产生的数据不断累积，随着业务量的攀升，表数据量急剧增长，经过几轮`delete`后，目前数据表三个月存量热数据为`4kw+`。一方面影响数据查询解析的效率，另一方面由于数据库虚机部署内存占用过大，增长过快不利于稳定运行。

### 意义 ###

解决海量数据存储带来宕机的风险，解决查询缓慢的问题，保证系统稳定运行。

### 现状 ###

几张相关大表中均存在`clob`字段，其中包含，`zhengxin`、`shuiwu`、`sifa`等相关数据报文，单一字段占用表空间较大。正常数据定期清理后，表空间会被复用，但是由于`clob`、`blob`大字段存在`高水位`现象，表空间复用的节点，时间点不确定，随着数据增长，表空间也急剧增长。

### 数据库对象分析 ###

![在这里插入图片描述][45f33e7c8a144a83a3533c2f47fdeb55.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW5nX3hz_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW5nX3hz_size_16_color_FFFFFF_t_70 1]

### 解决方案 ###

根据目前出现的情况，总结分析有以下几种方案：

#### A类 -> 根本性解决问题（推荐） ####

1.改变大报文存储形式：以文件形式存储，按月份进行目录分组，利于扩展，可维护性强。  
2.改变存储结构：按月份分表，进行大字段存储，使用脚本定期`drop`相关表。  
3.改变存储介质：将大报文存储至`mongo`、`hive`、`es`等缓存（内存）中，按照日期分区定时清理。

#### B类 -> 留待系统升级改造 ####

1.先备份数据，`drop`表后重建，导入三个月的热数据。  
2.分析业务场景是否支持不存储大字段，`drop`相关字段。  
3.分析业务场景是否支持不存储大字段，后续业务场景不存大字段，实现增量数据大小可控，但无法根本解决问题。

[45f33e7c8a144a83a3533c2f47fdeb55.png]: /images/20220829/2a2a59e15d004a1ab5fcb13feea4a814.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW5nX3hz_size_16_color_FFFFFF_t_70]: /images/20220829/73acd0bead844a7a9fe13cdb6282db6b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NoYW5nX3hz_size_16_color_FFFFFF_t_70 1]: /images/20220829/0ee823323752433a960f759b3fbcf55b.png