5.1.9 NoSQL数据库-Redis（键值key-value）-Redis持久化

一时失言乱红尘 2023-01-05 05:27 171阅读 0赞

**目录**

1.写在前面

2.RDB（Redis DataBase）

2.1 关于RDB

2.2 RDB工作原理

2.3 触发机制

2.3.1 save命令

2.3.2 触发持久化规则

2.3.3 bgsave

2.4 RDB的优缺点

3.AOF（Append Only File）

3.1 什么是AOF

3.2 aof文件错位

3.3 AOF文件重写规则

3.3 AOF的优点＆ 缺点

4.RDB和AOP选择

4.1 RDB 和 AOF 对比

4.2 如何选择使用哪种持久化方式？

--------------------

# 1.写在前面 #

Redis 是内存数据库，如果不将内存中的数据库状态保存到磁盘，那么一旦服务器进程退出，服务器中的数据库状态也会消失。所以 Redis 提供了持久化功能。Redis的持久化一共有两种方式，一种是RDB，另外一种是AOF。

# 2.RDB（Redis DataBase） #

## 2.1 关于RDB ##

在指定时间间隔后，将内存中的数据集快照写入数据库 ；在恢复时候，直接读取快照文件，进行数据的恢复 ；默认情况下， Redis 将数据库快照保存在名字为 dump.rdb的二进制文件中。文件名可以在配置文件中进行自定义。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70][]

## 2.2 RDB工作原理 ##

在进行 **`RDB`** 的时候，**`redis`** 的主线程整个过程是不会做 **`io`** 操作的，主线程会 **`fork`** 一个子线程来完成该操作；

1.  Redis 调用forks。同时拥有父进程和子进程。
2.  子进程将数据集写入到一个临时 RDB 文件中。
3.  当子进程完成对新 RDB 文件的写入时，Redis 用新 RDB 文件替换原来的 RDB 文件，并删除旧的 RDB 文件。

这种工作方式使得 Redis 可以从写时复制（copy-on-write）机制中获益(因为是使用子进程进行写操作，而父进程依然可以接收来自客户端的请求。RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。我们默认的就是 RDB，一般情况下不需要修改这个配置。

## 2.3 触发机制 ##

（1）、save的规则满足的情况下，会自动触发rdb规则

（2）、执行 flushall 命令，也会触发我们的rdb规则！

（3）、退出redis，也会产生 rdb 文件！

![2021011120490320.png][]

![20210111205024402.png][]

### 2.3.1 save命令 ###

使用 `save` 命令，会立刻对当前内存中的数据进行持久化 ,但是会阻塞，也就是不接受其他操作了；

> 由于 `save` 命令是同步命令，会占用Redis的主进程。若Redis数据非常多时，`save`命令执行速度会非常慢，阻塞所有客户端的请求。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1][]

### 2.3.2 触发持久化规则 ###

满足配置条件中的触发条件 ；

> 可以通过配置文件对 Redis 进行设置， 让它在“ N 秒内数据集至少有 M 个改动”这一条件被满足时， 自动进行数据集保存操作。
> 
> ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2][]

### 2.3.3 bgsave ###

`bgsave` 是异步进行，进行持久化的时候，`redis` 还可以将继续响应客户端请求 ；

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MzIyNw_size_16_color_FFFFFF_t_70]

**bgsave和save对比**

<table> 
 <thead> 
  <tr> 
   <th>命令</th> 
   <th>save</th> 
   <th>bgsave</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>IO类型</td> 
   <td>同步</td> 
   <td>异步</td> 
  </tr> 
  <tr> 
   <td>阻塞？</td> 
   <td>是</td> 
   <td>是（阻塞发生在fock()，通常非常快）</td> 
  </tr> 
  <tr> 
   <td>复杂度</td> 
   <td>O(n)</td> 
   <td>O(n)</td> 
  </tr> 
  <tr> 
   <td>优点</td> 
   <td>不会消耗额外的内存</td> 
   <td>不阻塞客户端命令</td> 
  </tr> 
  <tr> 
   <td>缺点</td> 
   <td>阻塞客户端命令</td> 
   <td>需要fock子进程，消耗内存</td> 
  </tr> 
 </tbody> 
</table>

## **2.4 RDB的优缺点** ##

**优点：**

1.  适合大规模的数据恢复
2.  对数据的完整性要求不高

**缺点：**

1.  需要一定的时间间隔进行操作，如果redis意外宕机了，这个最后一次修改的数据就没有了。
2.  fork进程的时候，会占用一定的内容空间。

# 3.AOF（Append Only File） #

将我们的所有命令都记录下来，history，恢复的时候就把这个文件全部在执行一遍！

> 以日志的形式来记录每个写的操作，将Redis执行过的所有指令记录下来（读操作不记录），只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。

## 3.1 什么是AOF ##

快照功能（RDB）并不是非常耐久（durable）： 如果 Redis 因为某些原因而造成故障停机， 那么服务器将丢失最近写入、以及未保存到快照中的那些数据。 从 1.1 版本开始， Redis 增加了一种完全耐久的持久化方式： AOF 持久化。

如果要使用AOF，需要修改配置文件：

![在这里插入图片描述][20200513215247113.png]

默认是不开启的，我们需要手动配置，然后重启redis，就可以生效了！

## 3.2 aof文件错位 ##

如果这个aof文件有错位，这时候redis是启动不起来的，我需要修改这个aof文件，redis给我们提供了一个工具`redis-check-aof --fix`

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3][]

aof破坏之后：

![2021011121115285.png][]

自动修复文件：

![2021011121125511.png][]

## 3.3 AOF文件重写规则 ##

![20210111211953880.png][]

## 3.3 AOF的优点＆ 缺点 ##

**优点**

1.  每一次修改都会同步，文件的完整性会更加好
2.  没秒同步一次，可能会丢失一秒的数据
3.  从不同步，效率最高

**缺点**

1.  相对于数据文件来说，aof远远大于rdb，修复速度比rdb慢！
2.  Aof运行效率也要比rdb慢，所以我们redis默认的配置就是rdb持久化

# 4.RDB和AOP选择 #

## 4.1 RDB 和 AOF 对比 ##

<table> 
 <thead> 
  <tr> 
   <th>&nbsp;</th> 
   <th>RDB</th> 
   <th>AOF</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>启动优先级</td> 
   <td>低</td> 
   <td>高</td> 
  </tr> 
  <tr> 
   <td>体积</td> 
   <td>小</td> 
   <td>大</td> 
  </tr> 
  <tr> 
   <td>恢复速度</td> 
   <td>快</td> 
   <td>慢</td> 
  </tr> 
  <tr> 
   <td>数据安全性</td> 
   <td>丢数据</td> 
   <td>根据策略决定</td> 
  </tr> 
 </tbody> 
</table>

## 4.2 如何选择使用哪种持久化方式？ ##

1、RDB 持久化方式能够在指定的时间间隔内对你的数据进行快照存储

2、AOF 持久化方式记录每次对服务器写的操作，当服务器重启的时候会重新执行这些命令来恢复原始 的数据，AOF命令以Redis 协议追加保存每次写的操作到文件末尾，Redis还能对AOF文件进行后台重 写，使得AOF文件的体积不至于过大。

3、只做缓存，如果你只希望你的数据在服务器运行的时候存在，你也可以不使用任何持久化

4、同时开启两种持久化方式

*  在这种情况下，当redis重启的时候会优先载入AOF文件来恢复原始的数据，因为在通常情况下AOF 文件保存的数据集要比RDB文件保存的数据集要完整。
 *  RDB 的数据不实时，同时使用两者时服务器重启也只会找AOF文件，那要不要只使用AOF呢？作者 建议不要，因为RDB更适合用于备份数据库（AOF在不断变化不好备份），快速重启，而且不会有 AOF可能潜在的Bug，留着作为一个万一的手段。

5、性能建议

*  因为RDB文件只用作后备用途，建议只在Slave上持久化RDB文件，而且只要15分钟备份一次就够 了，只保留 save 900 1 这条规则。
 *  如果Enable AOF ，好处是在最恶劣情况下也只会丢失不超过两秒数据，启动脚本较简单只load自 己的AOF文件就可以了，代价一是带来了持续的IO，二是AOF rewrite 的最后将 rewrite 过程中产 生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可，应该尽量减少AOF rewrite 的频率，AOF重写的基础大小默认值64M太小了，可以设到5G以上，默认超过原大小100%大小重 写可以改到适当的数值。
 *  如果不Enable AOF ，仅靠 Master-Slave Repllcation 实现高可用性也可以，能省掉一大笔IO，也 减少了rewrite时带来的系统波动。代价是如果Master/Slave 同时倒掉，会丢失十几分钟的数据， 启动脚本也要比较两个 Master/Slave 中的 RDB文件，载入较新的那个，微博就是这种架构。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70]: /images/20221119/da933abc4a7043528c70c72865cc43eb.png
[2021011120490320.png]: https://img-blog.csdnimg.cn/2021011120490320.png
[20210111205024402.png]: https://img-blog.csdnimg.cn/20210111205024402.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20210111205613815.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20210111205847987.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MzIyNw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/2020051321523151.jpg?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mzg3MzIyNw==,size_16,color_FFFFFF,t_70
[20200513215247113.png]: https://img-blog.csdnimg.cn/20200513215247113.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20210111210907986.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1N1eWViaXViaXU=,size_16,color_FFFFFF,t_70
[2021011121115285.png]: https://img-blog.csdnimg.cn/2021011121115285.png
[2021011121125511.png]: https://img-blog.csdnimg.cn/2021011121125511.png
[20210111211953880.png]: https://img-blog.csdnimg.cn/20210111211953880.png