PostgreSQL数据库WAL——初始化

我不是女神ヾ 2022-09-01 10:55 290阅读 0赞

## 什么是WAL? ##

顾名思义，就是写在前面的日志,是事物和数据库故障的一个保护。任何试图修改数据库数据的操作都会写一份日志到磁盘。这个日志在PG中叫XLOG，所有的日志都会写在$PGDATA/pg\_wal目录下面。每个XLOG的Page和Seg的默认大小：source:src/include/pg\_config.h  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]  
Page大小为XLOG\_BLCKSZ（8K），Seg大小为XLOG\_SEG\_SIZE（16M）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]  
只允许在编译的时候进行修改，例如：./configure --with-wal-segsize=64就是修改segsize为64M。  
![在这里插入图片描述][45694a1a43ac4ed4b20f388a5fe1371a.png]  
一个段文件的名字由24个十六进制字符组成，分为三个部分，每个部分由8个十六进制字符组成。第一部分表示时间线，第二部分表示日志文件标号，第三部分表示日志文件的段标号。时间线由1开始，日志文件标号和日志文件的段标号由0开始，所以系统中的第一个事务日志文件是000000010000000000000000，第二个事务日志文件是000000010000000000000001。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][18d93de39bad4a8ba3e094ede31d6686.png]

## 数据库初始化 ##

初始化数据库执行`initdb -D $PGDATA`后，会初始化一个数据库，在`$PGDATA/pg_wal`目录下默认会生成一个xlog文件。  
![在这里插入图片描述][ad899bd12008459a8a7d8460f2752979.png]  
该文件是通过管道（popen）调用postgres这个命令生成的：/usr/local/pg\_10\_3/bin/postgres --boot -x1 -F  
![在这里插入图片描述][5184a15aeb6b409692a95e97a07e1d93.png]  
这个命令会初始化很多东西，如下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]  
我们先看看XLOG，**初始化XLOG的函数入口为BootStrapXLOG**，这个函数只会在初始化的时候调用一次，用来创建控制文件和初始化XLOG segment。  
source:src/backend/access/transam/xlog.c+4959  
BootStrapXLOG(void)  
![在这里插入图片描述][16809c8e6d9446048bb56ef47073cd26.png]  
初始化的第一个timelineID = 1：  
![在这里插入图片描述][4e81a163c9854d5e8842191bf354f8a4.png]  
该值是标识数据库状态用的。PG的解释如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 4]  
创建的第一个XLOG segment文件 = 1：  
![在这里插入图片描述][4911bc3ee13546299aeeb50984a8651c.png]  
所以宏XLogFilePath的结果为，path = pg\_wal/000000010000000000000001：  
![在这里插入图片描述][541a622ea88547d785f83831d2f12051.png]  
在创建这个文件之前，PG会创建个临时文件：  
![在这里插入图片描述][e9304167d779436d8c7ec4ee84b3f633.png]  
pg\_wal/xlogtemp.29191（"xlogtemp."加个当前进程PID），避免其他process来搞事情，然后循环写入每次写入XLOG\_BLOCKSZ个字节  
![在这里插入图片描述][b7bf05adad8c4abea42aff8aa865c81e.png]  
写完之后，文件为16M：  
![在这里插入图片描述][d9cd4305bed140a89ec72a623e45f7dd.png]  
这个文件内容其实什么都没是个空文件。然后通过函数durable\_link\_or\_rename进行rename。  
![在这里插入图片描述][aef48964d9ed4f6cabe30d0d1a8dfbce.png]  
到这里，XLOG就创建完成了，不过这个文件还是空空如也，首先写入的是XLOG的头（XLogPageHeader）。  
![在这里插入图片描述][8dd2989974f04008a2bf4af2c892109e.png]  
写入XLOG文件的内容如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 5]  
这个page的前40个字节就是XLogLongPageHeaderData（由于每个XLogSegment的第一个page头会写入XLogLongPageHeaderData）。xlp\_seg\_size是当前xlog\_segment大小=1024102416；xlp\_xlog\_blcksz是当前xlog的page大小=8192。结果如下:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 6]  
写入完之后整个的XLOG\_SEGMENT的代码如下图所示：  
![在这里插入图片描述][9625f5189df340da9932dafbce21a17b.png]

## 数据库启动初始化 ##

前面的是数据库初始化的一个过程，现在是看看数据库启动的时候是如何进行初始化XLOG的呢？  
在数据库启动的时候，会从系统申请一份WAL的共享内存。入口函数是XLOGShmemInit(void)（ControlFile也在这个里面初始化共享内存）。  
如果数据库不修改任何参宿，默认会初始化4209288字节的内存空间。通过函数XLOGShmemSize(void)计算出来的。内存大小跟GUC参数wal\_buffers强相关，因为默认为-1所以PG会用XLOGbuffers = NBuffers / 32 = 512。  
source:src/backend/access/transam/xlog.c+4824  
WAL的缓冲区和控制结构在共享内存里，它们是用轻量级锁保护的，对共享内存的需求由缓冲区数量决定，默认的WAL缓冲区大小是8个8KB的缓冲区（64KB）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 7]  
分配的共享内存分布如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 8]  
XLogCtlData：1544字节  
XLogRecPtr\[\]：4096字节(8*512(XLOGBuffers)) = 4096  
WALInsertLockPadded：1152字节(128*9)  
XLOG\_BLCKSZ：8192字节  
XLOGbuffers：4194304字节(8192512(XLOG\_BLCKSZ,XLOGbuffers))  
初始化头结构体：  
XLogCtl->xlblocks = 上图中的XLogRecPtr。  
WALInsertLocks = XLogCtl->Insert.WALInsertLocks = 上图中的WALInsertLockPadded。  
XLogCtl->pages = 上图中的XLOGbuffers，这个buffer就是后面存储wal的地方，所有的xlog都会先写入到这个内存中，然后再刷到磁盘中。  
NOTE：因为XLogCtl结构体很大，大家可以对照的源码看看。共享内存的指针都挂载这个头结构体中。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]: /images/20220829/f987abd3922142d0b42262bd3aa090fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]: /images/20220829/59ff08956f52423daa17c86696bb2549.png
[45694a1a43ac4ed4b20f388a5fe1371a.png]: /images/20220829/7c407d932a6544c09eb35e1bdaa91224.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]: /images/20220829/dfdb35e533514bbf845e8cf7a646298f.png
[18d93de39bad4a8ba3e094ede31d6686.png]: /images/20220829/4d9f913a25b74480b6eb372f297d57d7.png
[ad899bd12008459a8a7d8460f2752979.png]: /images/20220829/81e73384688f444eb5c43a1b660dca2b.png
[5184a15aeb6b409692a95e97a07e1d93.png]: /images/20220829/59f8b733e4b14931a998f063e31eaafe.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]: /images/20220829/eade5c8048f34141bb0c74bf8c9c1a9f.png
[16809c8e6d9446048bb56ef47073cd26.png]: /images/20220829/808c2a7f90404d0091185552fbd4240c.png
[4e81a163c9854d5e8842191bf354f8a4.png]: /images/20220829/a226ad49d65a46428697877ea7182def.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 4]: /images/20220829/53f86b0362b84ac7bece792cd636a242.png
[4911bc3ee13546299aeeb50984a8651c.png]: /images/20220829/8f36bae2deed4b28943d34a966874694.png
[541a622ea88547d785f83831d2f12051.png]: /images/20220829/3e016aa1de0c47feb062202b22030eec.png
[e9304167d779436d8c7ec4ee84b3f633.png]: /images/20220829/57d0d4930a0b434b8a36cea6c47ec751.png
[b7bf05adad8c4abea42aff8aa865c81e.png]: /images/20220829/3dd098a56aa04fc4ad1720613d7e43db.png
[d9cd4305bed140a89ec72a623e45f7dd.png]: /images/20220829/8099776b8d56415f9ace2d5257658613.png
[aef48964d9ed4f6cabe30d0d1a8dfbce.png]: /images/20220829/45cf8960344b4d32915a4d6f92e583ae.png
[8dd2989974f04008a2bf4af2c892109e.png]: /images/20220829/0c14509f51114f6d9dde9001092da8f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 5]: /images/20220829/76b2fbb246324e738041227bcb1004de.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 6]: /images/20220829/02b66958a75149118f00ef7114ff927d.png
[9625f5189df340da9932dafbce21a17b.png]: /images/20220829/1bac96788cba412e86051677d794359b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 7]: /images/20220829/92ccc1a2c80b4d43b3e7e05aed4d4c37.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 8]: /images/20220829/7a3aa728aa93450e8a7db3f286e87ec9.png