PostgreSQL数据库——pg_basebackup原理解析

我就是我 2022-10-12 00:48 369阅读 0赞

## 介绍 ##

pg\_basebackup提供一个全量备份。常用来搭建流复制环境。属于物理备份。逻辑备份工具时pg\_dump。参数说明：  
\-D：–pgdata=DIRECTORRY，接收备份的目录  
\-F：–format=p | t，指定输出格式，支持p（原样输出）或者t(tar格式输出)  
\-r：–max-rate=RATE，最大传输率（kB/s，或用前缀 k,M）  
\-R，–write-recovery-conf，备份后写recovery.conf文件  
\-s,–slot=SLOTNAME，使用的复制槽  
\-T：–tablespace-mapping=OLDDIR=NEWDIR，使用NEWDIR替代OLDDIR  
\-x：–xlog,备份开始后，启动另一个流复制连接从主库接收WAL  
\-X:–xlog-method=fetch| stream  
–xlogdir=XLOGDIR  
\-z：–gzip  
\-Z：–compress=0-9  
–target-gp-dbid：根据给定的dbid创建表空间子目录  
\-C,–checkpoint=fast| spread  
\-l,–label=LABLE：设置backup label  
\-E，–exclude  
–exclude-from=FILE

## 流程 ##

1、上层流程  
1）先对传入的参数进行互斥检测，必须指定备份路径-D，format指定t模式时才可以使用压缩级别compresslevel。仅includewal为流复制模式时才可以使用复制槽。no\_slot下不使用复制槽和temp\_replication\_slot。create\_slot即指定-C时必须使用复制槽。xlog\_dir下必须使用format为p即plain模式，且必须使用绝对路径。  
2）通过GetConnection函数连接主，返回连接conn  
3）format为p模式下，如果-D指定的目录不存在则创建该目录，若存在，则这个目录必须为空  
4）通过RetrieveWalSegSize函数得到远程WAL文件大小WalSegSz，通过执行SHOWwal\_segment\_size得到：

postgres=# show wal_segment_size;
    -------------------------------
    16MB
    (1 row)

5）调用函数BaseBackup进行全量备份。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]  
2、BaseBackup  
1）如果指定-R创建recovery.conf文件，那么先在内存中产生内容：  
standby\_mode=’on’  
primary\_conninfo=’replication= dbname= fallback\_application\_name=’  
primary\_slot\_name=’’  
在备份完成后，写入recovery.conf文件WriteRecoveryConf();  
2）调用RunIdentifySystem向主发送IDENTIFY\_SYSTEM命令，获取系统标识及时间线，例如：

psql “dbname=postgres replication=database”-c “IDENTIFY_SYSTEM;”
    systemid    timeline   xlogpos  dbname
    ------------------+--------+----------+--------
    69516718657589179 |       1| 0/80000D8| postgres
    (1 row)

主接收到命令后由函数exec\_replication\_command进行处理：IdentifySystem();时间线为主机的ThisTimeLineID。（这个值主上怎么更新？）  
3）生成BASE BACKUP命令，并向主发送。得到wal起始位置xlogstart和起始时间线starttli，表空间个数tablespacecount和循环计算得到文件总数totalsize？  
4）如果时流复制拉取，那么调用函数StartLogStreamer初始化后台进程用于接收WAL，会启动一个进程。  
这里请求的开始时间线9.3及之后版本为BASE\_BACKUP获取的时间线值，否则为IDENTIFY\_SYSTEM获取主上当前时间线值。

StartLogStreamer(xlogstart, starttli, sysidentifier),注册流复制结构：

typedef struct
    { 
        PGconn    *bgconn;
        XLogRecPtr  startptr;
        char       xlog[MAXPGPATH];/* directory or tarfiledepending on mode */
        char      *sysidentifier;
        int        timeline;
    } logstreamer_param;
    
    param->timeline = timeline;
    param->sysidentifier = sysidentifier;
    param->startptr = ((uint64) hi) << 32 | lo;//xlogstart转换
    //对齐文件头
    param->startptr -=XLogSegmentOffset(param->startptr, WalSegSz);
    param->bgconn = GetConnection();//另连接master server
    replication_slot//创建复制槽
    format为p模式创建archive_status目录
    bgchild = fork();
    if (bgchild == 0){ //子进程
            /* in childprocess */
            exit(LogStreamerMain(param));
    }
    atexit(kill_bgchild_atexit);//父进程

5）对于每个表空间：分别根据format指定的格式拉取数据，若是t则调用ReceiveTarFile接收tar文件，否则调用ReceiveAndUnpackTarFile接收tar文件并解压。这里接收的是数据文件。  
接收日志和接收数据不在同一个进程中，为流复制单独创建一个接收日志子进程，子进程接收日志开始的命令是START\_REPLICATION，然后开启COPY流。  
数据的话应该是BASE\_BACKUP，然后开启COPY流。  
6）接着根据指定的参数决定是否打印进度  
7）获取wal结束位置xlogend  
8）根据指定的参数决定是否打印wal end point点  
9）调用waitpid等待子进程退出  
10）最后将数据全部sync  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]  
3、LogStreamerMain  
这个是一个子进程处理的内容，根据日志起始时间线及位置初始化流复制结构StreamCtl，然后调用函数ReceiveXlogStream进行流复制接收日志文件。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]  
4、ReceiveXlogStream  
1）首先判断时间线对应的history文件，不存在的话通过向主发送TIMELINE\_HISTORY命令获取主对于history文件内容，然后写到本地。  
2）向主发送START\_REPLICATION命令，开始复制，调用函数HandleCopyStream处理COPY流  
3）如果当前时间线的日志接收完，那么从下一个时间线开始重新接收。下一个时间线及其起始位置会由HandleCopyStream返回res中记录。下个时间线流复制开始位置会对齐到文件头位置。（也就是说总是从文件头开始复制）  
4）如果返回的结果状态时PGRES\_COMMAND\_OK表示复制结束  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]

————————————————  
版权声明：本文为CSDN博主「yzs87」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。  
原文链接：https://blog.csdn.net/yanzongshuai/article/details/117376916

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70]: /images/20221005/993696be559e49fd981d2eb26c907662.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 1]: /images/20221005/db8b18918a9848b7840014a7812ab7fc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 2]: /images/20221005/98e19e1e37d048c4a7a8fc54dc396d42.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FzbWFydGtpbGxlcg_size_16_color_FFFFFF_t_70 3]: /images/20221005/a39ccc1420e946d4bff8a6d32d00ea30.png