Redis——主从复制简介、主从复制的工作流程、常见问题

骑猪看日落 2023-03-04 11:25 10阅读 0赞

# 一、主从复制简介 #

### 1、Redis集群实现高可用 ###

单节点redis的风险与问题

**问题1** : 机器故障

*  现象：硬盘故障、系统崩溃
 *  `本质`：**`数据丢失`**，很可能对业务造成灾难性打击
 *  结论：基本上会放弃使用redis.

**问题2** : 容量瓶颈

*  现象：内存不足，从16G升级到64G，从64G升级到128G，无限升级内存
 *  本质：穷，硬件条件跟不上
 *  结论：放弃使用redis

**`结论`：**

*  为了避免`单机Redis`服务器故障，准备`多台服务器`，互相`连通`。将 **`数据复制多个副本`保存在不同的`服务器`上，`连接在一起`，并`保证数据`是`同步`的。即使有其中一台服务器宕机，其他服务器依然可以继续提供服务**，实现`Redis的高可用`，同时实现数据`冗余备份`。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 2]

### 2、主从复制的作用 ###

*  `读写分离`：master写、slave读，提高服务器的读写负载能力
 *  `负载均衡`：基于`主从结构`，配合`读写分离`，**由slave分担master负载，并根据需求的变化，`改变slave的数量，通过多个从节点分担数据读取负载，大大提高Redis服务器并发量与数据吞吐量`**
 *  `故障恢复`：当`master出现问题`时，由`slave`提供服务，实现快速的故障恢复
 *  `数据冗余`：实现数据热备份，是持久化之外的一种数据冗余方式, 因为`slave中和master数据是同步`的
 *  `高可用基石`：基于`主从复制`，构建`哨兵模式`与`集群`，实现`Redis的高可用`方案

# 二、主从复制工作流程 #

主从复制过程大体可以分为`3`个阶段 :

*  `建立连接阶段`（即准备阶段）, **`slave 去连接 master`**
 *  `数据同步阶段`, **master将数据同步到slave**
 *  `命令传播阶段`, **当向master中写操作后, 要将数据同步到slave**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 3]

### 1、阶段一：建立连接阶段 ###

*  建立slave到master的连接，使master能够识别slave，并保存slave端口号

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 4]

*  **连接的三种方式**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 5]

*  配置两个服务器, 分别启动redis服务, 一个充当`master`, 一个充当`slave`

192.168.80.131的充当master  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 6]  
192.168.80.132充当slave  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 7]  
使用`slaveof 192.168.80.131 6379`让**slave连接master的ip**  
![在这里插入图片描述][20200803162500732.png]

*  此时132服务的slave节点就连接上了131的Master结点

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 8]

*  此时通过131服务器info命令, 就可以看到该master节点中有132这个slave节点

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 9]  
**注意 :** 此时`slave`和`master`的数据就可以`同步`了, **当向master节点中`写数据`, 此时就会同步到slave中, 但是`slave`是不可以进行写操作的;** 测试如下  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 10]

*  slave节点不可以进行`写操作`, 只能读取其master节点设置的数据  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 11]
 *  slave节点, 执行`slaveof no one`命令, 此时slave不在同步它master节点的数据了. 但是之前的数据仍然存在 !  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 12]

### 2、阶段二：数据同步阶段工作流程 (将master的数据同步到slave中) ###

*  在`slave初次连接master后，复制master中的所有数据到slave`
 *  将`slave的数据库状态 更新成 master当前的数据库状态`

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 13]

##### 数据同步阶段`master`说明 #####

1.  如果master数据量巨大，数据同步阶段应避开流量高峰期，避免造成master阻塞，影响业务正常执行
2.  `复制缓冲区大小设定不合理，会导致数据溢出`。如进行`全量复制`周期太长，进行`部分复制`时发现数据已经存在丢失的情况，必须进行第二次全量复制，致使slave陷入`死循环`状态。
3.  **master单机内存占用主机内存的比例不应过大**，建议使用50%-70%的内存，留下30%-50%的内存用于执行`bgsave`命令和`创建复制缓冲区`
    
    > repl-backlog-size 1mb

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 14]

##### 数据同步阶段`slave`说明 #####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 15]

### 3、阶段三：命令传播阶段`(master接到指令传递给slave)` ###

*  `实时保持master和slave的数据同步`
 *  当master数据库状态被修改后，导致主从服务器数据库状态不一致，此时需要`让主从数据同步到一致的状态`，同步的动作称为`命令传播`
 *  `master将接收到的数据变更命令发送给slave，slave接收命令后执行命令`

--------------------

*  主从复制过程大体可以分为**3个阶段**
    
     *  **建立连接阶段（即准备阶段）**
     *  **数据同步阶段**
     *  **命令传播阶段**

#### 命令传播阶段的部分复制 ####

*  命令传播阶段出现了断网现象
    
     *  网络闪断闪连
     *  短时间网络中断
     *  长时间网络中断
 *  部分复制的**三个核心要素**
    
     *  **服务器的运行 id（run id）**
     *  **主服务器的复制积压缓冲区**
     *  **主从服务器的复制偏移量**

#### 1、服务器运行ID（runid） ####

*  概念：服务器运行ID是每一台服务器每次运行的身份识别码，一台服务器多次运行可以生成多个运行id
 *  组成：运行id由40位字符组成，是一个随机的十六进制字符 例如- -
    
     *  fdc9ff13b9bbaab28db42b3d50f852bb5e3fcdce
 *  作用：`运行id被用于在服务器间进行传输，识别身份`
    
     *  如果想两次操作均对同一台服务器进行，必须每次操作携带对应的运行id，用于对方识别
 *  实现方式：**运行id在每台服务器启动时自动生成的，master在首次连接slave时，会将自己的运行ID发送给slave，slave保存此ID，通过info Server命令，可以查看节点的runid**

#### 2、复制积压缓冲区 ####

*  概念：复制缓冲区，又名复制积压缓冲区，是一个 **`先进先出（FIFO）的队列`**，用于存储服务器执行过的命令，每次传播命令，master都会将传播的命令记录下来，并存储在复制缓冲区
 *  由来：每台服务器启动时，如果开启有AOF或被连接成为master节点，即创建复制缓冲区
 *  作用：用于保存master收到的所有指令（仅影响数据变更的指令，例如set，select）
 *  数据来源：当master接收到主客户端的指令时，除了将指令执行，会将该指令存储到缓冲区中

[![img][]][img 1]

##### 2.1、复制缓冲区内部工作原理 #####

*  组成
    
     *  偏移量
     *  字节值
 *  工作原理
    
     *  通过offset区分不同的slave当前数据传播的差异
     *  master记录**已发送**的信息对应的offset
     *  slave记录**已接收**的信息对应的offset
    
    [![img][img 2]][img_img 2]

#### 3、主从服务器复制偏移量（offset） ####

*  概念：一个数字，描述复制缓冲区中的指令字节位置
 *  分类：
    
     *  master复制偏移量：记录发送给所有slave的指令字节对应的位置（多个）
     *  slave复制偏移量：记录slave接收master发送过来的指令字节对应的位置（一个）
 *  数据来源： master端：发送一次记录一次 slave端：接收一次记录一次
 *  作用：**同步信息**，比对master与slave的差异，当slave断线后，恢复数据使用

##### 数据同步+命令传播阶段工作流程 #####

[![img][img 3]][img_img 3]

### 心跳机制 ###

进入`命令传播阶`段候，`master与slave`间需要进行信息交换，使用`心跳机制`进行维护，实现双方`连接保持在线`

*  master心跳：
    
     *  指令：PING
     *  周期：由repl-ping-slave-period决定，默认10秒
     *  作用：判断slave是否在线
     *  查询：INFO replication 获取slave最后一次连接时间间隔，lag项维持在0或1视为正常
 *  slave心跳任务
    
     *  指令：REPLCONF ACK \{offset\}
     *  周期：1秒
     *  作用1：汇报slave自己的复制偏移量，获取最新的数据变更指令
     *  作用2：判断master是否在线

##### 心跳阶段注意事项 #####

*  当slave多数掉线，或延迟过高时，master为保障数据稳定性，将拒绝所有信息同步操作

min-slaves-to-write 2 
     min-slaves-max-lag 8Copy

*  slave数量少于2个，或者所有slave的延迟都大于等于10秒时，强制关闭master写功能，停止数据同步
 *  slave数量由slave发送 **`REPLCONF ACK`** 命令做确认
 *  slave延迟由slave发送 **`REPLCONF ACK`** 命令做确认

#### 完整流程 ####

[![img][img 4]][img_img 4]

#### 常见问题 ####

[![img][img 5]][img_img 5]

[![img][img 6]][img_img 6]

#### 频繁的网络中断 ####

[![img][img 7]][img_img 7]

[![img][img 8]][img_img 8]

#### 数据不一致 ####

[![img][img 9]][img_img 9]

--------------------

# 操作同一个服务器开启不同端口的Redis服务 #

*  将我们安装的Redis包中的redis.conf拷贝出来到slave1, slave2目录中; 然后在该配置文件中修改redis-conf的端口, 和bind 为0.0.0.0

![在这里插入图片描述][20200803223217946.png]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 16]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 17]  
启动端口为6380的Redis服务; `redis-server redis.conf`即可启动6380端口的Redis服务  
![在这里插入图片描述][20200803223516842.png]

进入该端口的redis的客户端`redis-cli -p 6380`即可

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 18]

关闭该服务, `kill -9 进程号`;

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70]: /images/20230208/1464f730e0bd4bca8dedf3efdbb02166.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 1]: /images/20230208/70ec0d1c5eaf4818ab96428e22a53817.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 2]: /images/20230208/72a4badb5d76471e85b2a83e9a090329.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 3]: /images/20230208/4b3aaa8f245641c2a34eadb544273b7c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 4]: /images/20230208/0641dc6134c840899314080c5568b0c1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 5]: /images/20230208/3f238b133f184c9da5d591b21a09c437.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 6]: /images/20230208/a3a0ccf94fc24f92a81c96f0897b6e28.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 7]: /images/20230208/c297983116a44a15a3e0641bbc36d529.png
[20200803162500732.png]: /images/20230208/4703d45ed265469488739e9ba7ff934c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 8]: /images/20230208/240e6840c89f45fe8d036bab7775b9ee.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 9]: /images/20230208/7b9f550a8ffd445f8289b201ab3d8883.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 10]: /images/20230208/087a9f45a0eb429eba6b5377a6ec42bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 11]: /images/20230208/40630115e1f348088125b2c08afbb93a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 12]: /images/20230208/132f46d5ec25489f86412e25ee13ae7f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 13]: /images/20230208/4a3756083c774675b6b7674e1ead20ba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 14]: /images/20230208/12b8707faf6341b1aed82e744a7680b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 15]: /images/20230208/d3ed8a27214740359c150900aa3bffc0.png
[img]: /images/20230208/cfd318ac90514709a2baeae765874c92.png
[img 1]: https://nyimapicture.oss-cn-beijing.aliyuncs.com/img/20200608143134.png
[img 2]: https://img-blog.csdnimg.cn/img_convert/a5cc41b64b2f8ee7cb67b20357a07cd8.png
[img_img 2]: /images/20230208/f173c54bc3974b688b198772acbbd9c0.png
[img 3]: https://img-blog.csdnimg.cn/img_convert/a12817afbcd3df5d9064e5716904629a.png
[img_img 3]: /images/20230208/ae2a2351a0d94491941436fa4e6841fc.png
[img 4]: https://img-blog.csdnimg.cn/img_convert/4fa69d8b7180e5bc5e2a5019469530ac.png
[img_img 4]: /images/20230208/3fee61fb3c094afa840f9205aabc60e9.png
[img 5]: https://img-blog.csdnimg.cn/img_convert/e2cec710b4b1915dc29edc38160a877f.png
[img_img 5]: /images/20230208/dce86b242b1d44e5bec56727d58068df.png
[img 6]: https://img-blog.csdnimg.cn/img_convert/c15d39809db70c8fba7db5a514aea0da.png
[img_img 6]: /images/20230208/fc1af59b9d9645c7a866768ac4545d93.png
[img 7]: https://img-blog.csdnimg.cn/img_convert/bf05547fed7154928bf8a19df64c7b40.png
[img_img 7]: /images/20230208/6f7bd56da0c34dee88d77f2e374d9a62.png
[img 8]: https://img-blog.csdnimg.cn/img_convert/c0df7c3704df784b5b6dca5b15d5431b.png
[img_img 8]: /images/20230208/935057f5541549d5b575ca4921a29522.png
[img 9]: https://img-blog.csdnimg.cn/img_convert/90455d4df9ff46deb4e173c97bbf5573.png
[img_img 9]: /images/20230208/7a3c519b98594715a3833f08221f573d.png
[20200803223217946.png]: /images/20230208/aeb392ba4abd403ca4aeff012285ba84.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 16]: /images/20230208/ef8ff3addafa4c3fb73d578149b09137.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 17]: /images/20230208/2b9ef16976474789876c5494ef215cc1.png
[20200803223516842.png]: /images/20230208/eb5559b043f54a92abc1727f00b99e88.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM3OTg5OTgw_size_16_color_FFFFFF_t_70 18]: /images/20230208/0768b6df20334d8bab61a1d53fca8167.png