redis与mysql之间的千丝万缕（简单版）

电玩女神 2023-09-23 21:16 72阅读 0赞

1.  # redis的持久化 #

rdb ：把数据以快照的形式保存下来，即保存某个时间的所有数据。

## rdb触发的方式： ##

可以通过在配置文件redis.conf中通过save m n（在m秒内 修改了n个数据）命令来触发

通过命令的方式：是fork一个子进程（阻塞，消耗内存）来执行bgsave命令（异步） 生成一个dump.rdb的二进制文件

## rdb优点： ##

1.  全量的数据复制，适合数据备份和灾后数据恢复

1.  不会阻塞主进程的使用，通过fork子进程来实现数据备份

1.  rdb在进行大数据恢复的速度比AOF文件更快

## rdb缺点： ##

主进程在修改内存中的数据时，子进程感应不到，在快照持久化期间产生的数据不会被保存，可能会造成数据丢失

aof：相对比rdb的全量备份，耗时更长，而aof则记录每一条写命令通过write函数写入数据

## aof触发的方式： ##

文件写入，文件同步

写命令的时候：先将aof\_buf的内容写入page cache页缓存 在通过fsync命令将数据写入磁盘

always：每条写命令都记录

everysec：每秒一次fsync命令（默认）

no：将aof\_buf中缓冲区的内容写入到aof文件中，但是不进行文件同步，何时同步交由操作系统来决定

## aof重写机制： ##

当aof文件越来越大时，为了压缩aof文件，redis提供了bgrewriteaof命令，将内存中的数据保存在临时文件中，同时fork出子进程来进行aof的重写

## aof优点： ##

1.  能更好的保存数据，默认配置ererysec最多丢失一秒的数据

1.  写入性能更高，不用进行磁盘寻址的开销

1.  有重写文件的命令，也不会影响客户端读写

1.  更加适合数据的恢复

## aof缺点： ##

1.  aof文件比rdb文件更大

1.  开启aof后，支持写的QPS比RDB的QPS性能低，因为aof默认一般每秒都会发出fsync命令同步一次数据

最新采用rdb跟aof的混合模式（redis4.0），新 AOF 文件前半段是 RDB 格式的全量数据，后半段是 AOF 格式的增量数据。

1.  # redis的集群模式（高可用） #

主从复制 哨兵模式 集群模式

增量复制 全量复制

1.  ## redis的常见问题 ##

缓存穿透 缓存击穿 缓存雪崩

1.  # mysql的binlog，undo log ，redo log #

binlog是一个二进制文件，用于记录数据库表结构和表记录的变更。而binglog的监听工具canal就是用于监听mysql中产生的binlog，然后进行解析成我们所需要的格式，进行多数据库之间的数据的同步。

undo log、redo log是在innodb引擎下特有的

1.  ## mysql的集群模式(高可用) ##

主从复制

slave向master发起同步命令，master向slave节点发送binglog被写到relay bog中，slave保存在本地，从服务器I/O线程将主服务器的二进制日志文件读取过来记录到从服务器本地文件

1.  # mysql、redis缓存一致性问题 #

常见的市面上的 如先删缓存在更新数据库，删除数据库在更新缓存，延迟双删等不提。写2种生产环境下使用过的方案

4.1 更新数据库+监听binlog删除缓存（抓取组件：canal、databus等）+放入MQ去执行，直至删除成功

![1b8af691fb5b9e861f81be72acd9595c.png][]

说明：主流方案，整体上没有什么大问题，但是在极端环境下会出现一些问题

## 4.1.1存在的问题 ##

第一，数据删除的过程的时间窗口“较大”，从mysql的主库到从库，从库的binglog的监听，再到发送到MQ。再到MQ的消费，这个整体的过程需要耗费一定的时间（0-几百ms之间），就会存在脏数据。

第二，biglog的抓取组件宕机导致出现脏数据，该方案是依赖于监听的组件的。

## 4.2 三重删除缓存+数据一致性校验+更新流程禁用缓存+强制读redis的主节点 ##

![8b79d65f95148ddc20a6d75f7dc60f41.png][]

整体流程如下：

先更新数据库同步删除缓存（缩短时间窗口，减少脏数据的产生）

监听binlog日志异步删除缓存，带重试通过MQ直到删除成功（核心）

缓存的数据带过期时间，过期自动删除（最终一致性）

进一步防止并发下的脏数据

解决一些情况下，出现缓存结构更换的问题

监听数据库binlog延迟N秒后进行数据一致性检验（几分钟延迟，为脏数据兜底）

解决极端环境下的脏数据问题

存在数据库更新的链路禁用对应缓存（防止一些场景对数据一致性要求高的场景，缓存流程还没处理完成，设计思想类似mysql事务的可见性）

防止并发下短期内的脏数据影响更新流程

强制读Redis主节点（主从延迟，进一步增加数据的准确性）

查询异步数据一致性检验，灰度放量（保值措施，使用线程池异步查询一次缓存，对比数据库查询出来的数据，如果一致性超过了1%，需要进一步优化，低于0.01%则基本没问题了）

## 4.3 mysql分库的简单过程 ##

数据库拆分大致流程：增量数据同步（双写老库和新库）、全量数据一致性检验、灰度切读、切读完毕后停写老库。

[1b8af691fb5b9e861f81be72acd9595c.png]: https://img-blog.csdnimg.cn/img_convert/1b8af691fb5b9e861f81be72acd9595c.png
[8b79d65f95148ddc20a6d75f7dc60f41.png]: https://img-blog.csdnimg.cn/img_convert/8b79d65f95148ddc20a6d75f7dc60f41.png

发表评论取消回复

表情：

评论列表（有 0 条评论，72人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL、MongoDB、Redis 数据库之间的区别

oSQL 的全称是 Not Only SQL，也可以理解非关系型的数据库，是一种新型的革命式的数据库设计方式，不过它不是为了取代传统的关系型数据库而被设计的，它们分别代表...

约定不等于承诺〃/ 2024年04月18日 12:14/ 0 赞/ 73 阅读

相关汉诺塔与二进制、满二叉树的千丝万缕

汉诺塔(Tower of Hanoi)源于印度传说中，大梵天创造世界时造了三根金钢石柱子，其中一根柱子自底向上叠着64片黄金圆盘。大梵天命令婆罗门把圆盘从下面开始按大小顺序重新

迷南。/ 2023年10月08日 23:49/ 0 赞/ 5 阅读

相关 redis与mysql之间的千丝万缕（简单版）

1. redis的持久化 rdb ：把数据以快照的形式保存下来，即保存某个时间的所有数据。 rdb触发的方式：可以通过在配置文件redis.conf中通过sa

电玩女神/ 2023年09月23日 21:16/ 0 赞/ 73 阅读

相关 mysql 中表与表之间的关系

如何找出两张表的对应关系分析步骤： 1.先找出左表的角度去找是否左表的多条记录可以对应右表的一条记录，如果是，则证明左表的一个字段foreign key

港控/mmm°/ 2023年08月17日 15:25/ 0 赞/ 157 阅读

相关【Cell报表】与JS的千丝万缕

最近，所做的模块正在进行最后的完善。客户在试用了之后提了一些建议，包括对报表模板格式的修改。这也算是对Cell报表的进一步了解吧，虽说华表cell已木有后期维护人员了，但了解

曾经终败给现在/ 2022年08月09日 13:39/ 0 赞/ 222 阅读

相关 OC与Java之间的简单对比

Cocoa是什么，Cocoa是使用OC语言编写的工具包，里面有大量的类库、结构体，其实就相当于[java][]中的标准API、C++中的标准库。OC中没有命名空间

我不是女神ヾ/ 2022年07月16日 12:20/ 0 赞/ 172 阅读

相关 Mysql 的安装与配置 ——（简单入门版）

一、安装 windows： 1.安装软件安装：按软件提示一路确定下去； 2.压缩包安装： 1）解压安装包到自定义路径； 2）修改 my.ini 配置文件：复

r囧r小猫/ 2022年05月31日 12:47/ 0 赞/ 192 阅读

相关 MySQL、MongoDB、Redis 数据库之间的区别

NoSQL 的全称是 Not Only SQL，也可以理解非关系型的数据库，是一种新型的革命式的数据库设计方式，不过它不是为了取代传统的关系型数据库而被设计的，它们分别代表了不

向右看齐/ 2022年02月20日 06:13/ 0 赞/ 206 阅读

相关 MySQL、MongoDB、Redis 数据库之间的区别

NoSQL 的全称是 Not Only SQL，也可以理解非关系型的数据库，是一种新型的革命式的数据库设计方式，不过它不是为了取代传统的关系型数据库而被设计的，它们分别代表了不

墨蓝/ 2022年02月16日 11:29/ 0 赞/ 198 阅读

相关 mysql 表与表之间的关系

当你写表的时候有没有出现过一条数据要打很多行，而且有很多重复的，看起来也极其不舒服，而且也不方便。如： ![在这里插入图片描述][20210413200431201.

柔情只为你懂/ 2021年09月07日 08:08/ 0 赞/ 432 阅读