mysql InnoDB两次写(doublewrite)

ゝ一世哀愁。 2023-09-29 11:54 12阅读 0赞

## 前置知识 ##

InnoDB的数据的读取和更新是**以页为单位**的，并不是以行为单位的；

需要被操作的数据，会先以页(16K)为单位加载到内存中；

内存中被修改了的页，称为脏页；

被修改的数据(脏页)并不是立刻刷新到磁盘，而是通过fscyn函数调用才会刷新到磁盘；

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA6L275bCYw5c_size_20_color_FFFFFF_t_70_g_se_x_16][]

## doublewrite ##

Insert Buffer给InnoDB存储引擎带来了性能上的提升，doublewrite给InnoDB带来的是**数据页的可靠性**。

当数据库宕机时，可能InnoDB存储引擎正在写入某个页到表中，而这个页只写了一部分，比如16K的页，只写了前4K，之后就发生了宕机，这种情况被称为部分写失效(partial page write)。在InnoDB存储引擎未使用doublewrite技术之前，曾经出现过因为部分写失效而导致数据丢失的情况。

有经验的DBA也许会想，如果发生写失效，可以通过重做日志进行恢复，这是一个办法。但是必须清楚的认识到，重做日志中记录的是对页的物理操作，如偏移量800，写‘123’记录，如果这个页本身已经发生了损坏，再对其进行重做是没有意义的。这就是说，在应用(apply)重做日志前，用户需要一个页的副本，当写入失效发生时，**先通过页的副本来还原该页，再进行重做**，这就是doublewrite。

doublewrite由两部分组成，一部分是内存中的doublewrite buff，大小为2M，另一部分是物理磁盘上的共享表空间中连续的128个页，即两个区(extent)，大小同样为2M。在堆缓存池的脏页进行刷新时，并不直接写入磁盘，而是会通过memcpy函数将脏页先复制到内存中的doublewrite buff，之后通过doublewrite buff再分两次，每秒1MB**顺序地**写入共享表空间的**物理磁盘**上，然后马上调用fsync函数，同步磁盘，避免缓冲写带来的问题。

![watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA6L275bCYw5c_size_20_color_FFFFFF_t_70_g_se_x_16 1][]

在这个过程中，**因为doublewrite 页是连续的，因为这个过程是顺序写入的**，**开销并不是很大。**再完成doublewrite页的写入之后，再将doublewrite buff中的页**写入各个表空间**中，此时的写入则是**离散**的。

总结：

为了保证数据库宕机时，不丢失数据，InnoDB采用了doublewrite技术。

1.  将脏页复制到内存中的doublewrite buff(内存复制，高效)
2.  将doublewrite buff分两次写入共享表空间(顺序写入，高效)
3.  立刻调用fsync函数，将doublewrite buff数据同步到磁盘

如果在执行3的时候发生宕机事件，需要进行恢复，过程如下

1.  从**共享表空间**中找到对应脏页的副本
2.  将其复制到**表空间文件**
3.  应用重做日志(redo log)

[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA6L275bCYw5c_size_20_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/5e934ced4e72498bb73affae39404d05.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6L275bCYw5c=,size_20,color_FFFFFF,t_70,g_se,x_16
[watermark_type_d3F5LXplbmhlaQ_shadow_50_text_Q1NETiBA6L275bCYw5c_size_20_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/8c5e1205b1c74499ae70f0c2bee282de.png?x-oss-process=image/watermark,type_d3F5LXplbmhlaQ,shadow_50,text_Q1NETiBA6L275bCYw5c=,size_20,color_FFFFFF,t_70,g_se,x_16