Redis集群——Redis4.0.1版本高可用集群模式搭建（3.9.2版本适用）

青旅半醒 2022-03-17 12:38 215阅读 0赞

从reids3.0版本以后实现redis高可用不只是通过哨兵模式实现了，redis提供了redis-cluster模式，下面比较一下两种模式

## Redis集群模式比较 ##

### 哨兵模式 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70][]

在 redis3.0以前的版本要实现集群一般是借助哨兵 sentinel工具来监控 master节点的状态，如果 master节点异常，则会主从切换，将某一台 slave作为 master，哨兵的配置略微复杂，并且性能和高可用性等各方面表现一般，特別是在主从切换瞬间存在访问瞬断的情况。

### 高可用集群模式 ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 1][]

redis集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Reds集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心点，可水平扩展，据官方文档称可以线性扩展到1000点节。redis集群的性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单。

这种模式每一个master和各自的slave相当于一个小集群，当其中的master节点挂掉后，会在剩余的slave节点选择一个升级为master节点，当这个小集群所有的节点挂掉则这个小集群不能提供服务了，也就无法访问这个集群中缓存的数据了。

根据压测，redis每秒最高可承受10w或者15w的并发，由于哨兵模式只有一个master节点，所以哨兵模式最高就是10w或者15w的承受能力，而redis-cluster集群可以有多个master节点，所以是要比哨兵模式承压能力强很多的。

现在阿里、京东这些BAT巨头都是使用第二种模式的，所以这篇文章主要介绍redis高可用集群的搭建方式。

## redis高可用集群搭建 ##

### 版本介绍 ###

centos7 虚拟机三台 ip分别是192.168.1.10 192.168.1.11 192.168.12

redis版本 4.0.1 （3.9.2）也可以使用我的方法搭建是一样的

ruby版本 2.3.5

### redis安装 ###

**第一步**，安装gcc

yum install gcc-c++

**第二步**，安装zlib

yum -y install zlib zlib-devel

**第三步**，下载redis

cd /home/data
    wget http://download.redis.io/releases/redis-4.0.1.tar.gz

**第四步**，安装redis（不需要config）

cd redis-4.0.1
    make && make install (确保安装了gcc 和 zlib)

**第五步**，确认安装成功

\[root@localhost redis-4.0.1\]\# redis-server -v  
Redis server v=4.0.1 sha=00000000:0 malloc=jemalloc-4.0.3 bits=64 build=1ce1baf22cf9ba09

### Redis集群搭建 ###

由于只有三台虚拟机，redis集群需要至少要三个master节点，我们这里搭建三个master节点，并且给每个master再搭建一个slave节点，总共6个redis节点，由于节点数较多，所以搭建一个伪集群，一台机器部署两个节点，端口分别是7001到7006

**第一步**，在192.168.1.10机器上创建文件夹

mkdir -p /opt/redis-cluster/{7001,7004}
    cp /home/data/redis-4.0.1/redis.conf /opt/redis-cluster/7001/redis-7001.conf

**第二步**，编辑redis-7001.conf，修改以下几个位置

vim /opt/redis-cluster/7001/redis-7001.conf

1.  daemonize yes
2.  port 7001（分别对每个机器的端口号进行设置）
3.  bind 192.168.1.10（必须要绑定当前机器的ip，这里方便redis集群定位机器，不绑定可能会出现循环查找集群节点机器的情况）
4.  dir  /opt/redis-cluster/7001/（指定数据文件存放位置，必须要指定不同的目录位置，不然会丢失数据）
5.  cluster-enabled yes（启动集群模式）
6.  cluster-config-file nodes-7001.conf（这里700x最好和port对应上） 集群内部配置文件，改掉端口号　
7.  cluster-node-timeout 15000 节点超时时间
8.  appendonly yes 写操作写日志

**第三步**，把这个文件复制到7004下面并把端口改为7004

cp /opt/redis-cluster/7001/redis-7001.conf /opt/redis-cluster/7004/redis-7004.conf

可以使用批量修改模式

：%s/源字符串/目的字符串/g

:%s/7001/7004/g
    :wq!

**第四步**，同样的在192.168.1.11和192.168.1.12两台机器重复上面的操作 ，其中192.168.1.11的端口为7002和7005，192.168.1.12的端口为7003和7006

**第五步**，接下来分别启动三台机器的每个节点

cd /home/data/redis-4.0.1
    ./redis-server /opt/redis-cluster/7001/redis-7001.conf
    ./redis-server /opt/redis-cluster/7004/redis-7004.conf

![wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==][wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw]

![20190227175849734.png][]![wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==][wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw]

cd /home/data/redis-4.0.1
    ./redis-server /opt/redis-cluster/7002/redis-7002.conf
    ./redis-server /opt/redis-cluster/7005/redis-7005.conf

![wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==][wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw]

![20190227175955746.png][]![wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==][wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw]

cd /home/data/redis-4.0.1
    ./redis-server /opt/redis-cluster/7003/redis-7003.conf
    ./redis-server /opt/redis-cluster/7006/redis-7006.conf

![wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==][wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw]

![2019022718003786.png][]![wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==][wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw]

**第六步**，**redis-trib.rb环境准备（该文件存在于redis-4.0.1/src/目录中）**　　　　//只需要在其中一台上执行此步骤！！

**redis-trib.rb**是采用Ruby实现的Redis集群管理工具。内部通过Cluster相关命令帮助我们简化集群创建、检查、槽迁移和均衡等常见操作，使用之前需要安装Ruby依赖环境。

我选择在10的机器上安装

**第七步**，安装ruby

cd /home/data/
    wget http://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.5.tar.gz
    tar -zxvf  ruby-2.3.5.tar.gz
    cd ruby-2.3.5
    ./configure  --prefix=/opt/ruby
    make && make install
    ln -s /opt/ruby/bin/ruby /usr/bin/ruby
    ln -s /opt/ruby/bin/gem /usr/bin/gem

![wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==][wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw]

检查是否安装成功

\[root@localhost 7001\]\# ruby -v  
ruby 2.3.5p376 (2017-09-14 revision 59905) \[x86\_64-linux\]

**第八步**，安装rubygem redis依赖

wget http://rubygems.org/downloads/redis-3.3.0.gem
    
    gem install -l redis-3.3.0.gem

如果安装失败参考：[https://blog.csdn.net/feinifi/article/details/78251486][https_blog.csdn.net_feinifi_article_details_78251486]

检查**redis-trib.rb可用性**

**![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 2][]**

**第九步**，开放端口

10服务器开放7001 17001 7004 17004 端口

11服务器开放7002 17002 7005 17005 端口

12服务器开放7003 17003 7005 17005 端口

**第十步**，创建集群

cd /home/data/redis-4.0.1/src
    ./redis-trib.rb create --replicas 1 192.168.1.10:7001 192.168.1.11:7002 192.168.1.12:7003 192.168.1.10:7004 192.168.1.11:7005 192.168.1.12:7006

**说明**：--replicas参数指定集群中每个主节点配备几个从节点，这里设置为1，没个主节点只有一个从节点。

这里因为测试，只用了3台机器，如果部署节点使用不同的IP地址，redis-trib-rb会尽可能保证主从节点不分配在同一台机器下，因此会重新排序节点表顺序。节点列表顺序用于确定主从角色，先主节点之后是从节点。创建过程中首先会给出主从节点角色分配的计划，如下图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 3][]

集群把7001 7002 7003 当作主节点 7005 7004 7006分别是它们的从节点

（因为redis集群尽量使主从节点不在同一台机器上，所以这里7005是7001的从节点，7004是7002的从节点）

填写yes

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 4][]

最后的输出报告说明：16384个槽全部被分配完，集群创建成功。

如果你卡在join一直等待请检查是否开放了17001、17002.。。端口

redis集群不仅需要开通redis客户端连接的端口，而且需要开通集群总线端口

集群总线端口为redis客户端连接的端口 + 10000  
如redis端口为6379  
则集群总线端口为16379  
故，所有服务器的点需要开通redis的客户端连接端口和集群总线端口  
注意：iptables 放开，如果有安全组，也要放开这两个端口  
另外，你必须保证每个节点无数据(即刚才配置的7001、7002等文件夹下除了redis配置文件的其他文件)，否则集群节点拒绝连接。

**第十一步**，完整性检查

任意一个节点都行

./redis-trib.rb check 192.168.1.10:7001

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 5][]

**第十二步**，连接一个节点测试

cd /home/data/redis-4.0.1
    ./redis-cli -c -h 192.168.1.10 -p 7001 （-c 表示集群模式 -h 表示主机 -p表示端口）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 6][]

发现中间集群通过算法负载均衡到到指定的节点。

cluster info 查看集群信息 cluster nodes 查看节点信息

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 7][]通过cluster nodes命令发现7005是7001的从节点，7004是7002的从节点，7006是7003的从节点，现在停掉7001主节点，通过命令redis-cli -c -h 192.168.1.10 -p 7001 shutdown或者通过ps -ef | grep redis 查到进程号然后kill 进程号的方式

redis-cli -c -h 192.168.1.10 -p 7001 shutdown

通过ps -ef | grep redis查看确实停掉了

![20190302154014984.PNG][]

重新连接一个节点查看集群信息

redis-cli -c -h 192.168.1.10 -p 7004

![20190302154122205.PNG][]

发现7001的节点多了一个fail，现在他的从节点7005变成了主节点

现在看第一行

bec5fc998979d98a6f591aff25b01de2117efa99是redis集群分配给7006节点的id，slave表示它是一个从节点，后面的字符串

4ab388e3ed4e1399d6b1b412aec670d60f56383a是它的主节点的id，也就是7003节点，在每个master节点最后有一个分片

7005 是 0-5460 7002是5461-10922 7003是10923-16383

现在重启7001节点

redis-server /opt/redis-cluster/7001/redis-7001.conf

## ![20190302160024803.PNG][] ##

再次连接一个集群节点查看节点信息

redis-cli -c -h 192.168.1.10 -p 7004

![2019030216023590.PNG][]

发现7001节点已经自动加入集群了，但是是作为一个从节点加入的，是7005的从节点。

## Redis集群重启 ##

关闭节点

可以通过kill命令关闭或者/home/data/redis-4.0.1/redis-cli -c -p 192.168.1.0 -p 7001 shutdown逐个关闭

1、先删除每个节点的如下文件

![20190227182621865.png][]

2、启动每个节点

3、创建集群

cd /home/data/redis-4.0.1/src
    ./redis-trib.rb create --replicas 1 192.168.1.10:7001 192.168.1.11:7002 192.168.1.12:7003 192.168.1.10:7004 192.168.1.11:7005 192.168.1.12:7006

关于redis-trib.rb的命令详解可以参考[https://blog.csdn.net/qq\_37595946/article/details/78069298][https_blog.csdn.net_qq_37595946_article_details_78069298]，这里还有详细介绍创建集群时的具体过程。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70]: /images/20220317/96a6254de16d498686313d11b8e4739e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 1]: /images/20220317/40f9a1ad7e8f4a81919dbbe086d50fb1.png
[wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw]: 
[20190227175849734.png]: https://img-blog.csdnimg.cn/20190227175849734.png
[20190227175955746.png]: https://img-blog.csdnimg.cn/20190227175955746.png
[2019022718003786.png]: https://img-blog.csdnimg.cn/2019022718003786.png
[https_blog.csdn.net_feinifi_article_details_78251486]: https://blog.csdn.net/feinifi/article/details/78251486
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 2]: /images/20220317/226e3bcce23e43a18544ef03f49dd60d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 3]: /images/20220317/15654c5a6ee74687bd75c716b1ac1401.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 4]: /images/20220317/e5a15b393ac645da928966201b3b30f9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 5]: /images/20220317/80e6325e5f284d92ba607c6e938e7487.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 6]: /images/20220317/fbd702845c384b10b5d9175e8a7db7f2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dZQTE5OTM_size_16_color_FFFFFF_t_70 7]: /images/20220317/20189a207104467392d95cb909290962.png
[20190302154014984.PNG]: /images/20220317/a3de363f5f6844d59cbdbe2665555037.png
[20190302154122205.PNG]: /images/20220317/a6c1b2548a634806a3eee9cd21a1a465.png
[20190302160024803.PNG]: /images/20220317/a916c7fdd9cc400283d0cb093392c711.png
[2019030216023590.PNG]: /images/20220317/3702ff84acad47bd9218ad620e54751d.png
[20190227182621865.png]: /images/20220317/f381dd92f8ea468aa65ab62b0c22614a.png
[https_blog.csdn.net_qq_37595946_article_details_78069298]: https://blog.csdn.net/qq_37595946/article/details/78069298