Redis高可用设计方案之集群

雨点打透心脏的1/2处 2022-10-25 11:23 223阅读 0赞

**目录**

目标

概述

集群

主从模型

实战

环境准备

搭建集群

重启集群

新增节点

删除节点

测试可用性

附录

低版本环境搭建

--------------------

# 目标 #

*  理解Redis集群（Redis Cluster）和主从模型的概念，熟练配置Redis高可用。

--------------------

# 概述 #

## 集群 ##

存在多个Redis节点，每个节点开放端口供客户端连接；节点之间开放集群总线端口，相互通信。Redis集群有如下特点：

*  每个节点的客户端端口和集群总线端口的偏移量始终是10000，即某Redis节点的客户端端口是6379，则该节点同时也要开放16379端口作为集群总线端口。
 *  集群使用不同形式的分片，每个键从概念上讲都是哈希槽的一部分。Redis集群中有16384个哈希槽，各个节点分配这些数量。
 *  增加节点则每个节点相应地减少哈希槽，反之每个节点增加哈希槽。
 *  **最小群集**要求至少包含三个主节点。

--------------------

## 主从模型 ##

为节点A配置从属节点B，称节点A是master（主节点），节点B是slave（子节点）。该模型旨在解决：主节点子集出现故障或无法与大多数节点通信时保持可用。**Redis官网建议：三个主节点和三个从节点组成的六个节点群集**。

--------------------

# 实战 #

## 环境准备 ##

1.  Linux虚拟机一台，且该虚拟机上安装了Redis（本文以redis-6.0.10.tar.gz版本为例）。
2.  安装教程：**[Linux安装Redis单机版][Linux_Redis]**。

--------------------

## 搭建集群 ##

**第一步**：复制一份redis.conf文件作为集群中的一个节点配置文件。

cd /opt/redis-6.0.10

cp redis.conf redis-7000.conf

**第二步**：修改redis-7000.conf文件。

#端口
    port 7000
    #存放log日志&rdb快照&aof文件的文件夹。
    dir "/opt/redis-6.0.10/data"
    #日志文件名称
    logfile "redis-7000.log"
    #为该节点开启集群模式
    cluster-enabled yes
    #文件名称
    cluster-config-file /opt/redis-6.0.10/nodes/node-7000.conf
    #超时时间，单位毫秒。
    #群集节点不可用的最长时间（不将其视为失败）。
    #如果主节点无法访问的时间超过指定的时间长度，则其主节点将对其进行故障转移。
    #在指定的时间内无法到达大多数主节点的每个节点都将停止接受查询。
    cluster-node-timeout 15000
    #根据官网最小的Redis集群配置需要开启AOF。
    appendonly yes
    #aof文件名称
    appendfilename "appendonly-7000.aof"
    #设置rdb文件名称
    dbfilename dump-7000.rdb

**第三步**：重复上述三个步骤，再创建5个文件，注意修改端口和文件名称（日志文件名称、AOF文件名称、节点信息配置文件名称、rdb文件名称）。

![20210201094441300.png][]

**第四步**：根据刚才的配置，创建用于存放节点信息的文件夹。

mkdir /opt/redis-6.0.10/nodes

**第五步**：以配置文件的方式启动Redis服务端，查看redis启动进程会发现后面都有\[cluster\]。

cd /opt/redis-6.0.10/src

./redis-server ../redis-7000.conf 
    ./redis-server ../redis-7001.conf  
    ./redis-server ../redis-7002.conf  
    ./redis-server ../redis-7003.conf  
    ./redis-server ../redis-7004.conf  
    ./redis-server ../redis-7005.conf

ps -ef | grep redis

![20210201095137469.png][]

**第六步**：启动集群。

cd /opt/redis-6.0.10/src

#启动集群：
    #--cluster-replicas 1：表示每个主节点分配一个从节点，前面3个是主节点，后面3个是从节点。
    #注意：我用的Redis是redis-6.0.10.tar.gz版本，低版本Redis可能不适用该命令。
    redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 --cluster-replicas 1
    #启动过程中输入yes。
    yes
    #如果出现：[ERR] Node 127.0.0.1:7000 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.
    #一、需要先关闭Redis进程，
    #二、删除日志文件和cluster-config-file下的文件。
    #三、再重启。

![20210204093346554.png][]

**第七步**：以集群的方式任意连接一台Redis，查看主从结构和每个主节点的哈希槽的数量。

./redis-cli -h 127.0.0.1 -p 7000 -c

cluster nodes

![20210204095342125.png][]

**第八步**：向Redis中添加一些数据，观察数据进入到了哪些槽位和节点。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70][]

--------------------

## 重启集群 ##

**第一步**：以配置文件的方式启动Redis服务端，查看redis启动进程会发现后面都有\[cluster\]。

cd /opt/redis-6.0.10/src

ps -ef | grep redis

./redis-cli -h 127.0.0.1 -p 7000 -c

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 1][]

--------------------

## 新增节点 ##

**目标**：在三主三从的基础上新增一组主从结构（7006和7007节点），变成四主四从集群。

**第一步**：复制两份redis-7000.conf文件并修改相关配置。注意修改端口和文件名称（日志文件名称、AOF文件名称、节点信息配置文件名称、rdb文件名称）。

cd /opt/redis-6.0.10

cp redis-7000.conf redis-7006.conf
    cp redis-7000.conf redis-7007.conf

**第二步**：启动这一组节点。

cd /opt/redis-6.0.10/src

./redis-server ../redis-7006.conf
    ./redis-server ../redis-7007.conf

ps -ef | grep redis

**第三步**：新增7006节点到集群作为主节点，然后任意启动一个客户端，查看集群结构，发现7006节点作为主节点加入集群成功，但并没有分配哈希槽。

#任选一个集群中已经有的主节点作为沟通的桥梁。我这里选择7000主节点充当介绍人的角色。
    redis-cli --cluster add-node 127.0.0.1:7006 127.0.0.1:7000

./redis-cli -h 127.0.0.1 -p 7000 -c

cluster nodes

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 2][]

**第四步**：添加给7006主节点添加7007从节点。

#127.0.0.1:7007：新增的从节点
    #127.0.0.1:7000：任选一个节点作为沟通的桥梁，我选择7000这个节点。
    #548036e3960c864f3b15fd4ae147c3f9ec5383f0：7006的节点ID，表示7007是7006的从节点。
    redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7000 --cluster-slave --cluster-master-id 548036e3960c864f3b15fd4ae147c3f9ec5383f0

./redis-cli -h 127.0.0.1 -p 7000 -c

cluster nodes

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 3][]

**第五步**：给7006主节点分配哈希槽，Redis集群中有16384个哈希槽，建议每个主节点平均分配，即该集群下每个主节点推荐分配4096个节点。

redis-cli --cluster reshard 127.0.0.1:7006

#How many slots do you want to move (from 1 to 16384)? 
    #翻译：您要移动多少个哈希槽（从1到16384）？
    输入4096并回车。
    #What is the receiving node ID?
    #翻译：接收节点ID是什么？
    输入7006主节点的节点ID并回车。
    #Source node #1:
    #翻译：源节点。
    输入all表示重新调整每个主节点的哈希槽数量。
    #（yes/no）
    yes

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 4][]

--------------------

## 删除节点 ##

**目标**：在四主四从的基础上删除一组主从结构（7006和7007节点），变成三主三从集群。

**第一步**：移除7006主节点下的哈希槽。

cd /opt/redis-6.0.10/src

redis-cli --cluster reshard 127.0.0.1:7006

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 6][]

**第二步**：删除节点。

#redis-cli --cluster del-node 节点 节点ID。
    redis-cli --cluster del-node 127.0.0.1:7007 a49c57504b77433aaa936514bbe9a510002a05b8
    redis-cli --cluster del-node 127.0.0.1:7006 548036e3960c864f3b15fd4ae147c3f9ec5383f0

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 7][]

--------------------

## 测试可用性 ##

**第一步**：关闭某个主节点，经过了一段时间（配置文件的超时时间）后查看该主节点的从节点是否会升级为主节点（故障转移）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 8][]

--------------------

# 附录 #

## 低版本环境搭建 ##

**第一步**：查看Redis是否安装了ruby和gem,如果没有安装则需要安装。

#查看ruby版本
    ruby -v
    #安装gem环境
    yum install gem -y
    #我的版本是ruby-3.0.0.tar.gz，官网下载ruby安装包：http://www.ruby-lang.org/en/downloads/
    #上传到Linux服务器并解压安装，我上传到了/opt目录下。
    #解压
    tar -zxvf ruby-3.0.0.tar.gz
    #安装（过程可能有点慢）
    cd /opt/ruby-3.0.0
    ./configure -prefix=/usr/local/ruby
    make && make install

#查看gem版本
    gem -v
    #国外的网站比较慢。
    #查看所有redis对应的gem版本：https://rubygems.org/gems/redis/versions/
    #下载指定版本版本（我用redis-3.3.0.gem版本）：http://rubygems.org/downloads/redis-3.3.0.gem
    #上传并安装gem
    yum install gem -y
    gem install -l redis-3.3.0.gem

[Linux_Redis]: https://blog.csdn.net/qq_39706570/article/details/113257844
[20210201094441300.png]: /images/20221024/56ce4ad85aa5400e9adaa720640870ba.png
[20210201095137469.png]: /images/20221024/b26d43a2455846d7b113d430ca62b3fc.png
[20210204093346554.png]: /images/20221024/65fd7c2357a34811b1f93f5ad7d82673.png
[20210204095342125.png]: /images/20221024/67ba2baf6b5b4150ba1d19bd7ac9b830.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70]: /images/20221024/f8ea969ef5344ed5b59889ad9b7b65ae.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 1]: /images/20221024/1ebf722f9e504fa0a7ff5edffa8116a2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 2]: /images/20221024/d23c01f3810a41388b964ad3e0434190.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 3]: /images/20221024/c2a56c57d1fd4fcabd62d082e18f55b5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 4]: /images/20221024/f8adf8ed2f934456b132704c7b6bbf0f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 5]: /images/20221024/52dd4f0ff5884b688ed9e4b8745179d6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 6]: /images/20221024/40b608df096d4718b53421549700e6c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 7]: /images/20221024/8d373d57cb9049c7866856fee4c73cc7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzM5NzA2NTcw_size_16_color_FFFFFF_t_70 8]: /images/20221024/4773e744cec14376bb5990c34543c906.png