数据持久化层--冷热分离

快来打我* 2023-10-04 23:25 23阅读 0赞

## 业务场景 ##

有一个系统的主要功能是这样的：它会对接客户的邮件服务器，自动收取发到几个特定客服邮箱的邮件，每收到一封客服邮件，就自动生成一个工单。之后系统就会根据一些规则将工单分派给不同的客服专员处理。

这家媒体集团客户两年多产生了近2000万的工单，工单的操作记录近1亿。平时客服在工单页面操作时，打开或者刷新工单列表需要10秒钟左右。要求进行优化：  
当时的数据情况如下：  
1）工单表已经达到3000万条数据。  
2）工单表的处理记录表达到1.5亿条数据。  
3）工单表每日以10万的数据量在增长。

在客户提出需求之前，项目组已经通过优化表结构、业务代码、索引、SQL语句等办法来提高系统响应速度，系统最终支撑起了3000万数据的表查询。这次只能尝试其他方案。

## 冷热分离一期实现思路：冷热数据都用MySQL ##

![在这里插入图片描述][bf37c1e9fced4eca8e4f74056030606d.png]

当决定用冷热分离之后，项目组就开始考虑使用一个性价比最高的冷热分离方案。因为资源有限、工期又短，冷热分离一期有一个主导原则，即热数据跟冷数据使用一样的存储（MySQL）和数据结构，这样工作量最少，等到以后有时间再做冷热分离二期。

**需要考虑的问题**  
1）如何判断一个数据是冷数据还是热数据？  
2）如何触发冷热数据分离？  
3）如何实现冷热数据分离？  
4）如何使用冷热数据？  
5）历史数据如何迁移？

![在这里插入图片描述][290f0f9ca02c4646942460464479d8e5.png]

### 1.1 如何判断一个数据到底是冷数据还是热数据 ###

关于判断冷热数据的逻辑，这里还有两个要点必须说明。  
1）如果一个数据被标识为冷数据，业务代码不会再对它进行写操作。  
2）不会同时存在读取冷、热数据的需求。

回到本章项目场景，这里就把lastProcessTime大于1个月，并且status为“关闭”的工单数据标识为冷数据。

### 1.2 如何触发冷热数据分离 ###

一般来说，冷热数据分离的触发逻辑分为3种。

1）直接修改业务代码，使得每次修改数据时触发冷热分离（比如每次更新订单的状态时，就去触发这个逻辑），如图所示。这个逻辑在该业务场景中就表现为：工单表每做一次变更（其实就是客服对工单做处理操作），就要对变更后的工单数据触发一次冷热数据的分离。

> 建议在业务代码比较简单，并且

[bf37c1e9fced4eca8e4f74056030606d.png]: https://img-blog.csdnimg.cn/bf37c1e9fced4eca8e4f74056030606d.png
[290f0f9ca02c4646942460464479d8e5.png]: https://img-blog.csdnimg.cn/290f0f9ca02c4646942460464479d8e5.png

发表评论取消回复

表情：

评论列表（有 0 条评论，23人围观）

还没有评论，来说两句吧...

相关阅读

相关数据持久层

![ab7070aa2dcd46a98adba650ed7d51b7.png][] 目录数据冷热分离的概念：热数据冷数据冷热分离什么情况下使用冷热分离：

清疚/ 2024年03月31日 18:03/ 0 赞/ 106 阅读

相关架构之冷热分离

本文依据《从程序员到架构师》阅读有感，记录书中案例并且结合作者工作经历进行分析。当数据量过大，业务查询慢甚至导致数据库服务器CPU飙升，导致数据库宕机，影响用户体验。场

深藏阁楼爱情的钟/ 2024年03月16日 13:50/ 0 赞/ 71 阅读

相关云上如何做冷热数据分离

目录[(?)][Link 1][\[-\]][-] 1. [前言][Link 2] 2. [如何区分冷热数据][Link 3] 3. [冷数据的特点][Link 4]

怼烎@/ 2023年10月17日 18:44/ 0 赞/ 80 阅读

相关数据持久化层--查询分离

1. 业务场景 1）查询慢。当时工单数据库里面有1000万左右的客服工单时，每次查询时需要关联其他近10个表，一次查询平均花费13秒左右。 2）打开工单慢。工单打开以

我不是女神ヾ/ 2023年10月05日 00:25/ 0 赞/ 15 阅读

相关数据持久化层--冷热分离

业务场景有一个系统的主要功能是这样的：它会对接客户的邮件服务器，自动收取发到几个特定客服邮箱的邮件，每收到一封客服邮件，就自动生成一个工单。之后系统就会根据一些规则将工

快来打我*/ 2023年10月04日 23:25/ 0 赞/ 24 阅读

相关 elasticsearch实现冷热数据分离

本文以最新的elasticsearch-6.3.0.tar.gz为例,为了节约资源,本文将副本调为0, 无client角色 https://www.elastic.co/bl

￡神魔★判官ぃ/ 2023年06月19日 02:18/ 0 赞/ 23 阅读

相关 elasticsearch实现冷热数据分离

目录[(?)][Link 1][\[-\]][Link 1] 1. [es架构][es] 2. [各节点的es配置][es 1] 3. [如何实现某索引数据写到指

Love The Way You Lie/ 2023年02月23日 08:06/ 0 赞/ 19 阅读

相关数据持久层架构——冷热分离

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ub

电玩女神/ 2022年10月22日 07:58/ 0 赞/ 143 阅读

相关大数据归档-冷热数据分离

1. 什么是TokuDB？ TokuDB 是一个支持事务的“新”引擎，有着出色的数据压缩功能，由美国 TokuTek 公司（现在已经被 Percona 公司收购）研发。拥

冷不防/ 2021年11月29日 14:58/ 0 赞/ 431 阅读

相关 Spring+ibatis 数据化持久层

ibatis in Spring 与Hibernate类似，ibatis也是一个ORM解决方案，不同的是两者各有侧重。 Hibernate提供了Java对象到数据库表之

骑猪看日落/ 2021年07月20日 18:35/ 0 赞/ 362 阅读