double write buffer——mysql

你的名字 2021-05-12 11:49 520阅读 0赞

MySQL的buffer一页的大小是16K，文件系统一页的大小是4K，也就是说，MySQL将buffer中一页数据刷入磁盘，要写4个文件系统里的页。

![format_png][]

如上图所示，MySQL里page=1的页，物理上对应磁盘上的1+2+3+4四个格。

那么，问题来了，**这个操作并非原子，如果执行到一半断电，会不会出现问题呢？**  
会，这就是所谓的“页数据损坏”。

![format_png 1][]

如上图所示，MySQL内page=1的页准备刷入磁盘，才刷了3个文件系统里的页，掉电了，则会出现：重启后，page=1的页，物理上对应磁盘上的1+2+3+4四个格，数据完整性被破坏。

*画外音：**redo无法修复这类“页数据损坏”的异常，修复的前提是“页数据正确”并且redo日志正常。*

**如何解决这类“页数据损坏”的问题呢？**

很容易想到的方法是，能有一个“副本”，对原来的页进行还原，这个存储“副本”的地方，就是Double Write Buffer。

Double Write Buffer，但它与传统的buffer又不同，它分为**内存**和**磁盘**的两层架构。

*画外音：**传统的buffer，大部分是内存存储；**而DWB里的数据，是需要落地的。*

![format_png 2][]

如上图所示，当有页数据要刷盘时：

**第一步**：页数据先memcopy到DWB的内存里；

**第二步**：DWB的内存里，会先刷到DWB的磁盘上；

**第三步**：DWB的内存里，再刷到数据磁盘存储上；

*画外音：**DWB由128个页构成，容量只有2M。*

步骤2和步骤3要写2次磁盘，这就是“Double Write”的由来。

**DWB为什么能解决“页数据损坏”问题呢？**

假设步骤2掉电，磁盘里依然是1+2+3+4的完整数据。

*画外音：**只要有页数据完整，就能通过redo还原数据。*

假如步骤3掉电，DWB里存储着完整的数据。

所以，一定不会出现“页数据损坏”问题。

*画外音：**写了2次，总有一个地方的数据是OK的。*

自己实验了几十次，仍没能复现“页数据损坏”，在网上找了一个“页数据损坏”时，MySQL重启过程利用DWB修复页数据的图。

![format_png 3][]

可以看到，启动过程中：

（1）InnoDB检测到上一次为异常关闭；

（2）尝试恢复ibd数据，失败；

（3）从DWB中恢复写了一半的页；

能够通过DWB保证页数据的完整性，但毕竟DWB要**写两次磁盘，会不会导致数据库性能急剧降低呢？**

分析DWB执行的三个步骤：

（1）第一步，页数据memcopy到DWB的内存，速度很快；

（2）第二步，DWB的内存fsync刷到DWB的磁盘，属于顺序追加写，速度也很快；

（3）第三步，刷磁盘，随机写，本来就需要进行，不属于额外操作；

另外，128页（每页16K）2M的DWB，会分两次刷入磁盘，每次最多64页，即1M的数据，执行也是非常之快的。

综上，性能会有所影响，但影响并不大。

*画外音：*

*（1）write-ahead-log之所以性能高，就是因为顺序追加写；*

*（2）有第三方测评，评估约10%性能损失；*

更具体的，InnoDB里有两个变量可以查看double write buffer相关的情况：

Innodb\_dblwr\_pages\_written

记录写入DWB中页的数量。

Innodb\_dblwr\_writes

记录DWB写操作的次数。

可以通过：

show global status like "%dblwr%"

来进行查询。

![format_png 4][]

**结尾**

MySQL有很强的**数据安全性机制**：

（1）在异常崩溃时，如果不出现“页数据损坏”，能够通过redo恢复数据；

（2）在出现“页数据损坏”时，能够通过double write buffer恢复页数据；

**double write buffer**：

（1）不是一个内存buffer，是一个内存/磁盘两层的结构，是InnoDB里On-Disk架构里很重要的一部分；

（2）是一个通过写两次，保证页完整性的机制；

知其然，知其所以然。

**思路比结论重要**，希望大家有收获。

[format_png]: /images/20210511/be84a78f622545e484967ca264b87dab.png
[format_png 1]: /images/20210511/ca0b3f10b7d94b758f61d07dea449756.png
[format_png 2]: /images/20210511/53a215275ccb4f09af3fcb144f0787e1.png
[format_png 3]: /images/20210511/7d46519f8817421b8c1fa22b2ddecda2.png
[format_png 4]: /images/20210511/a272a5e4c9f84b5e9e99eded81d0edfe.png

发表评论取消回复

表情：

评论列表（有 0 条评论，520人围观）

还没有评论，来说两句吧...

相关阅读

相关关于double write的思考

double write是Innodb防止部分写的特性，大致原理是：在把buffer pool脏页刷盘时，先把脏页写入内存中的double write buffer，之后

今天药忘吃喽~/ 2023年05月21日 13:58/ 0 赞/ 30 阅读

相关 (五)innodb关键特性之两次写(double Write)

InnoDB存储引擎的关键特性包括：插入缓冲(Insert Buffer) 两次写(double Write) 自适应哈希索引(Adaptive Hash

た入场券/ 2022年12月23日 06:44/ 0 赞/ 130 阅读

相关 java中Double和double的区别

今天遇到这样一个问题： Line 12: error: incompatible types: Double\[\] cannot be converted to doub

超、凢脫俗/ 2022年12月06日 05:24/ 0 赞/ 212 阅读

相关 InnoDB特性：Insert Buffer、double write、临近页刷新、启动与关闭恢复

1，Insert Buffer -------------------- 在InnoDB存储引擎中，对于主键唯一索引，行记录一般按照递增的顺序进行插入，该方式不

秒速五厘米/ 2022年10月22日 08:00/ 0 赞/ 7 阅读

相关 c/c++: float和double、long double

这两天在写程序，看了一些文章，转过来备忘。原文地址是： [http://topic.csdn.net/u/20090716/10/ce4a7037-3c0d-40ae-af8

缺乏、安全感/ 2022年08月10日 12:55/ 0 赞/ 209 阅读

相关 sftp error: process_write: write failed

现场系统报附件无法上传和下载。附件系统是一个单独的子系统，通过sftp服务上传到存储。 1.拿回weblogic日志分析，后台报了很多无法长传和下载的错误

女爷i/ 2022年07月15日 00:40/ 0 赞/ 176 阅读

相关 Doubles

给出2到15个不同的正整数，计算在这些数里面有多少数据满足一个数是另一个数的两倍。比如给出1 4 3 2 9 7 18 22答案是3，因为2是1的两倍，4是2的两倍，18是9的

曾经终败给现在/ 2022年03月28日 11:16/ 0 赞/ 149 阅读

相关 double_Keyword

double Java Keyword with Examples The double keyword is used to create a double primi

ゝ一世哀愁。/ 2021年11月05日 08:24/ 0 赞/ 260 阅读

相关 mysql之 double write 浅析

介绍double write之前我们有必要了解partial page write 问题 : InnoDB 的Page Size一般是16KB，其数据校验也是针对

你的名字/ 2021年05月12日 11:55/ 0 赞/ 450 阅读

相关 double write buffer——mysql

MySQL的buffer一页的大小是16K，文件系统一页的大小是4K，也就是说，MySQL将buffer中一页数据刷入磁盘，要写4个文件系统里的页。 ![format_png

你的名字/ 2021年05月12日 11:49/ 0 赞/ 521 阅读