【Redis】分片集群（四）

淩亂°似流年 2024-03-26 19:35 88阅读 0赞

**目录**

4.1.搭建分片集群

4.2.散列插槽

4.2.1.插槽原理

4.2.1.小结

4.3.集群伸缩

4.3.1.需求分析

4.3.2.创建新的redis实例

4.3.3.添加新节点到redis

4.3.4.转移插槽

4.4.故障转移

4.4.1.自动故障转移

4.4.2.手动故障转移

4.5.RedisTemplate访问分片集群

### 4.1.搭建分片集群 ###

主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决：

*  海量数据存储问题
 *  高并发写的问题

使用分片集群可以解决上述问题，如图:

![fbeacbca93aa45579291551018abcb8d.png][]

分片集群特征：

*  集群中有多个master，每个master保存不同数据
 *  每个master都可以有多个slave节点
 *  master之间通过ping监测彼此健康状态
 *  客户端请求可以访问集群任意节点，最终都会被转发到正确节点

### 4.2.散列插槽 ###

#### 4.2.1.插槽原理 ####

Redis会把每一个master节点映射到0~16383共16384个插槽（hash slot）上，查看集群信息时就能看到：

![a10ca9b91f364343ace6954c5f0a444d.png][]

数据key不是与节点绑定，而是与插槽绑定。redis会根据key的有效部分计算插槽值，分两种情况：

*  key中包含"\{\}"，且“\{\}”中至少包含1个字符，“\{\}”中的部分是有效部分
 *  key中不包含“\{\}”，整个key都是有效部分

例如：key是num，那么就根据num计算，如果是\{itcast\}num，则根据itcast计算。计算方式是利用CRC16算法得到一个hash值，然后对16384取余，得到的结果就是slot值。

![583d10fb4ed743f7887ea0a56c783222.png][]

如图，在7001这个节点执行set a 1时，对a做hash运算，对16384取余，得到的结果是15495，因此要存储到103节点。

到了7003后，执行`get num`时，对num做hash运算，对16384取余，得到的结果是2765，因此需要切换到7001节点

#### 4.2.1.小结 ####

Redis如何判断某个key应该在哪个实例？

*  将16384个插槽分配到不同的实例
 *  根据key的有效部分计算哈希值，对16384取余
 *  余数作为插槽，寻找插槽所在实例即可

如何将同一类数据固定的保存在同一个Redis实例？

*  这一类数据使用相同的有效部分，例如key都以\{typeId\}为前缀

### 4.3.集群伸缩 ###

redis-cli --cluster提供了很多操作集群的命令，可以通过下面方式查看：

![5f525c6ed04e48ff993683c98739af72.png][]

比如，添加节点的命令：

![4fc96a792e104f2d8845ebb11928bb0f.png][]

#### 4.3.1.需求分析 ####

需求：向集群中添加一个新的master节点，并向其中存储 num = 10

*  启动一个新的redis实例，端口为7004
 *  添加7004到之前的集群，并作为一个master节点
 *  给7004节点分配插槽，使得num这个key可以存储到7004实例

这里需要两个新的功能：

*  添加一个节点到集群中
 *  将部分插槽分配到新插槽

#### 4.3.2.创建新的redis实例 ####

创建一个文件夹：

mkdir 7004

拷贝配置文件：

cp redis.conf /7004

修改配置文件：

sed /s/6379/7004/g 7004/redis.conf

启动

redis-server 7004/redis.conf

#### 4.3.3.添加新节点到redis ####

添加节点的语法如下：

![a7a9ab0dec3247e39a6ac80ea0a54626.png][]

执行命令：

redis-cli --cluster add-node  192.168.150.101:7004 192.168.150.101:7001

通过命令查看集群状态：

redis-cli -p 7001 cluster nodes

如图，7004加入了集群，并且默认是一个master节点：

![6b06cb0ea03d40c3abda615dc2d5ae0c.png][]

但是，可以看到7004节点的插槽数量为0，因此没有任何数据可以存储到7004上

#### 4.3.4.转移插槽 ####

我们要将num存储到7004节点，因此需要先看看num的插槽是多少：

![e7531994749c40b8a126ce160c9de658.png][]

如上图所示，num的插槽为2765.

我们可以将0~3000的插槽从7001转移到7004，命令格式如下：

![45c936660337412aad7ea08cb79db726.png][]

具体命令如下：

建立连接：

![9aeda052ddb2482288c5a5a80fb3649f.png][]

得到下面的反馈：

![29f00fecc3cb4948bc1b451303651b43.png][]

询问要移动多少个插槽，我们计划是3000个：

新的问题来了：

![449dca64b46f4e29bc5739e8c736aedf.png][]

那个node来接收这些插槽？？

显然是7004，那么7004节点的id是多少呢？

![766c738245fa43b491647b8291d32acf.png][]

复制这个id，然后拷贝到刚才的控制台后：

![1463a103dbde4bf69bb8b5454761ea57.png][]

这里询问，你的插槽是从哪里移动过来的？

*  all：代表全部，也就是三个节点各转移一部分
 *  具体的id：目标节点的id
 *  done：没有了

这里我们要从7001获取，因此填写7001的id：

![4da72757be6d4e229395b737e0faf6dc.png][]

填完后，点击done，这样插槽转移就准备好了：

![ec6a029a0f5744debfe675a97f3d293e.png][]

确认要转移吗？输入yes：

然后，通过命令查看结果：

![1d302b08494f46198d9fdc5bed2add0a.png][]

可以看到：

![f4c03bc752824aad8a7bdb7dc7d80f00.png][]

目的达成。

### 4.4.故障转移 ###

集群初识状态是这样的：

![b9929a295f66477ca9b819c2dad11bfe.png][]

其中7001、7002、7003都是master，我们计划让7002宕机。

#### 4.4.1.自动故障转移 ####

当集群中有一个master宕机会发生什么呢？

直接停止一个redis实例，例如7002：

redis-cli -p 7002 shutdown

1）首先是该实例与其它实例失去连接

2）然后是疑似宕机：

![f0d57313334b4556aa11f33b159dfc57.png][]

3）最后是确定下线，自动提升一个slave为新的master：

![ced2453af72a427da984c23e26011112.png][]

4）当7002再次启动，就会变为一个slave节点了：

![e580d80092a74c6384d9cff268cd71fe.png][]

#### 4.4.2.手动故障转移 ####

利用cluster failover命令可以手动让集群中的某个master宕机，切换到执行cluster failover命令的这个slave节点，实现无感知的数据迁移。其流程如下：

![d7992dbf908b48a0829a08d453537b43.png][]

这种failover命令可以指定三种模式：

*  缺省：默认的流程，如图1~6歩
 *  force：省略了对offset的一致性校验
 *  takeover：直接执行第5歩，忽略数据一致性、忽略master状态和其它master的意见

**案例需求**：在7002这个slave节点执行手动故障转移，重新夺回master地位

步骤如下：

1）利用redis-cli连接7002这个节点

2）执行cluster failover命令

如图：

![e9d28c5898e64d4ebe058414eb4cb8a1.png][]

效果：

![32e784da30a7490cbb77ef8b252e6b02.png][]

### 4.5.RedisTemplate访问分片集群 ###

RedisTemplate底层同样基于lettuce实现了分片集群的支持，而使用的步骤与哨兵模式基本一致：

1）引入redis的starter依赖

2）配置分片集群地址

3）配置读写分离

与哨兵模式相比，其中只有分片集群的配置方式略有差异，如下：

spring:
      redis:
        cluster:
          nodes:
            - 192.168.150.101:7001
            - 192.168.150.101:7002
            - 192.168.150.101:7003
            - 192.168.150.101:8001
            - 192.168.150.101:8002
            - 192.168.150.101:8003

[fbeacbca93aa45579291551018abcb8d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/21e73326769f4ef68f82ea6378382320.png
[a10ca9b91f364343ace6954c5f0a444d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/1625be2c0a6a47ae86df3cb9ea07a27a.png
[583d10fb4ed743f7887ea0a56c783222.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/1e27114d2e414e81b896f87ada0e5d99.png
[5f525c6ed04e48ff993683c98739af72.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/792bd907cd7f4b0fb45074f56e410626.png
[4fc96a792e104f2d8845ebb11928bb0f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/7d3aeae0618a4213b0c5a8845383c7a3.png
[a7a9ab0dec3247e39a6ac80ea0a54626.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/b8cbb717f0904bda8aadd414d4de72c3.png
[6b06cb0ea03d40c3abda615dc2d5ae0c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/2fefbdc28f8048e3843a771327159020.png
[e7531994749c40b8a126ce160c9de658.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/77cdc97aa5f54866a95e90b950ac49c8.png
[45c936660337412aad7ea08cb79db726.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/09a3cfb12df9487d95350e6b1dc9a4e7.png
[9aeda052ddb2482288c5a5a80fb3649f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/16e49910392f4b53b8290262b683bbe1.png
[29f00fecc3cb4948bc1b451303651b43.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/6a8f920c5bb747b981373768b7493639.png
[449dca64b46f4e29bc5739e8c736aedf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/4b0acbb95a384f3fa56d2f218305f26a.png
[766c738245fa43b491647b8291d32acf.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/863fa31ba1454679a163b3cb66e06ee5.png
[1463a103dbde4bf69bb8b5454761ea57.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/54b785b7635549acb0c93793bad37aa7.png
[4da72757be6d4e229395b737e0faf6dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/c195853868ab456b88e3e9aecd6a67d3.png
[ec6a029a0f5744debfe675a97f3d293e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/37ae2ca2c73a462fb6699f4eeb72c9a5.png
[1d302b08494f46198d9fdc5bed2add0a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/cc3f52f8cdce4f4abaeacfcf4d1d15c9.png
[f4c03bc752824aad8a7bdb7dc7d80f00.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/c8bbdc049f0947d8b586b354377e440a.png
[b9929a295f66477ca9b819c2dad11bfe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/1325d2c5ac5c4cbc8d426799919ce4cb.png
[f0d57313334b4556aa11f33b159dfc57.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/9a42688b00664b838024963bca639e14.png
[ced2453af72a427da984c23e26011112.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/ad357d670d2448a8a415dfa077ad8a0e.png
[e580d80092a74c6384d9cff268cd71fe.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/7e5545f93edf466c9196aee62eceb70f.png
[d7992dbf908b48a0829a08d453537b43.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/41bae70eafea40be81af585e3cad8e55.png
[e9d28c5898e64d4ebe058414eb4cb8a1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/c6e6ddb8b0e94b6eb7bd4060f8209bd4.png
[32e784da30a7490cbb77ef8b252e6b02.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/26/e7bfb284c5114bf3abb052a675a9388e.png