PG的复制

逃离我推掉我的手 2022-09-11 05:28 151阅读 0赞

# pg的解码器 #

解码器是把WAL日志解析成逻辑数据的过程，将用户定阅的数据变化（即对某些表的insert/update/delete操作来带的数据变化）输出成特定的数据格式

# decoderbufs #

需要安装一堆插件,在centos上非常难于安装,官方给出的例子也是基于debein操作系统

# wal2json #

**debezium** 对wal2json的支持不好,他自己官网说的

# pgoutput #

postgres-10 纳入了内核 以下为pgoutput解析出来的逻辑数据  
连接为

# 复制 #

pg即可以逻辑复制,也可以物理复制 没有互斥

## 物理复制 ##

物理层面、逻辑层面完全一致：主备数据库的物理块完全一样，逻辑层面也 完全一样，达到金融级需求。特点如下:

**延迟极低**：任何大事务，主库完成提交，备库能立即提交。事务过程中产生的每条record会实时同步到备库进行回放，因此，备库不会因为回放大事务而使得延迟很大 (我的理解同步的也就是一个commit语句的操作,延迟极低)  
**粒度粗** 整个实例级别同步：物理复制针对整个实例进行同步，无法仅针对单个表或者数据库进行同步  
**粒度粗** 同步级别无法单独设置：数据库同步级别针对整个流复制，无法针对某个表进行设置流复制级别

场景一:  
往往一个数据库中，仅有几张最重要表需要最高级别的同步等级，其他表异步即可 这个物理复制是做不到的 比如日志表不需要很高的同步等级  
物理复制环境搭建地址

## 逻辑复制(叫发布端与订阅端) ##

2017年逻辑复制发布到pg10的内核,作为PG的重要特性基于REDO流,之前内核没有时大家都是基于pglogical插件来做

不叫主从复制了,是发布订阅方式实现逻辑复制达到同步数据

同步的最小单元为表,比较灵活  
可设置不同的同步级别,可以配置很高的同步等级,及异步等级  
支持多对一、- -对多、多对多进行逻辑复制， 以能够很灵活的实现各种同步需求。即linux到windows的逻辑复制  
场景多对一 多个PG往一个PG上汇总数据  
场景一对多 一个用户表往多个应用库的表分发用户信息  
订阅端也可以再次写数据,然后再次对数据表进行发布

## 逻辑复制架构图 ##

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pWw5o2u5bqT5Lq655Sf_size_20_color_FFFFFF_t_70_g_se_x_16]  
上图的订阅断可以为一个pg也可以为kafka连接器伪造一个订阅断

![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pWw5o2u5bqT5Lq655Sf_size_20_color_FFFFFF_t_70_g_se_x_16 1]

## 槽位replication slots ##

replication slots 是从postgresql 9.4 引入的,一种自动化的方法来确保发布与订阅 如果备掉线了,slots会申请保留WAL的日志造成堆积,还有就是 订阅断存在冲突的记录时,他会同样申请WAL保留相应日志  
坑就是会造成wal日志堆积,进而影响整库性能,最终造成崩溃

通俗的说:  
复制槽 能够保存逻辑或物理流复制的基础指向WAL日志的信息,有点儿MySQL的位点信息的意思 可以暂时这么理解

## 业界关注的问题 ##

问题:  
逻辑流复制用上事务槽，如果事务槽不释放导致wal慢的情况可能把库跟搞死了，这个怎么解决哈  
回答 这个就要注意，因为如果很久没有回放，就会导致wal日志堆积  
追加:  
1）避免长事务，一般超过1天的事务理论上都可以取消掉的。  
2）防止复制节点掉线，如果掉线了，slot就会保留他们需要的wal日志。  
3）如果上面的方法有难度，就可以考虑不走slot，把keep\_wal\_segments设置大一点  
4）针对物理流复制，还可以开启归档，不走slot，从归档中异步同步数据。

槽位相关命令  
槽位的创建  
**物理槽**

postgres=# select pg_create_physical_replication_slot('a');  #这个是创建物理槽
     pg_create_physical_replication_slot   
    -------------------------------------  
     (a,)  
    (1 row)

**逻辑槽**

SELECT * FROM pg_create_logical_replication_slot('p2_sub', 'pgoutput');
    1

**槽位的查看**

**槽位的删除**

select pg_drop_replication_slot(slot_name) from pg_replication_slots where slot_name = 'dvdrental_sub';

slot在PGDATA中的信息

cd $PGDATA  
      
    cd pg_replslot/  
    ll  
    total 4.0K  
    drwx------ 2 postgres postgres 4.0K May 16 10:46 a

**槽位的激活**  
主库创建了SLOT后，如果将备库recovery.conf配置如下

primary_slot_name = 'a'

到主库查看，可以看到，slot激活，并开始记录restart\_lsn

逻辑复制搭建  
一个发布端pg一个订阅断pg  
debezium  
pglogical

逻辑复制–发布端配置  
修改主库的postgresql.conf

wal_level=logical
    max_wal_senders=10
    max_replication_slots=8

逻辑复制使用注意  
ddl同步搞定不了 debizum能搞定  
建表得有replicatoin标识否则删除数据时报错

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pWw5o2u5bqT5Lq655Sf_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/1aae46e88f7a4b5690416c0ed70d6144.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA5pWw5o2u5bqT5Lq655Sf_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/b961926460df4196b932f3e3156eeeb5.png