搭建Redis集群（详细图解）

拼搏现实的明天。 2022-02-20 14:09 333阅读 0赞

说明：该篇博客是博主一字一码编写的，实属不易，请尊重原创，谢谢大家！

### 一丶集群的概念 ###

*  集群是一组相互独立的、通过高速网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。集群配置是用于提高可用性和可缩放性。
 *  一组通过网络连接的计算机，共同对外提供服务，像一个独立的服务器。
 *  当请求到来首先由负载均衡服务器处理，把请求转发到另外的一台服务器上。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70][]

### 二丶redis集群  ###

*  分类
    
     *  软件层面
     *  硬件层面
 *  软件层面：只有一台电脑，在这一台电脑上启动了多个redis服务。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 1][]

*  硬件层面：存在多台实体的电脑，每台电脑上都启动了一个redis或者多个redis服务。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 2][]

### 三丶为什么要有集群 ###

*  一主可以多从，如果同时的访问量过大(1000w)，主服务肯定就会挂掉，数据服务就挂掉了或者发生自然灾难
 *  大公司都会有很多的服务器(华东地区、华南地区、华中地区、华北地区、西北地区、西南地区、东北地区、台港澳地区机房)

### 四丶搭建集群 ###

**说明：**当前拥有两台主机192.168.4.15（ubuntu1）、192.168.4.63（ubuntu2），这里的IP在使用时要改为实际值

**1.配置机器1（ubuntu1）**

*  查看两台电脑IP地址

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 4][]

*  需要对ubuntu1中redis进行IP绑定

![20190414094543602.png][]

![20190414094724163.png][]

*  进入Desktop目录，创建conf目录
 *  在conf目录下创建文件件7000.conf，编辑内容如下

port 7000
    bind 192.168.4.15
    daemonize yes  # 守护进程
    pidfile 7000.pid  # 进程id配置文件
    cluster-enabled yes  # 节点
    cluster-config-file 7000_node.conf  # 节点配置文件
    cluster-node-timeout 15000  # 超时
    appendonly yes  # 追加数据文件

*  在conf目录下创建文件件7001.conf，编辑内容如下

port 7001
    bind 192.168.4.15
    daemonize yes
    pidfile 7001.pid
    cluster-enabled yes
    cluster-config-file 7001_node.conf
    cluster-node-timeout 15000
    appendonly yes

*  在conf目录下创建文件件7002.conf，编辑内容如下

port 7002
    bind 192.168.4.15
    daemonize yes
    pidfile 7002.pid
    cluster-enabled yes
    cluster-config-file 7002_node.conf
    cluster-node-timeout 15000
    appendonly yes

*  即conf目录则有以下三个配置文件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 5][]

*  使用配置文件启动redis服务 （cluster表示集群）

![20190414100304183.png][]

**2.配置机器2（ubuntu2）**

**说明：**这台电脑在上篇博客[Redis主从同步配置][Redis]已经绑定了IP地址了

*  进入Desktop目录，创建conf目录
 *  在conf目录下创建文件件7003.conf，编辑内容如下

port 7003
    bind 192.168.4.63
    daemonize yes
    pidfile 7003.pid
    cluster-enabled yes
    cluster-config-file 7003_node.conf
    cluster-node-timeout 15000
    appendonly yes

*  在conf目录下创建文件件7004.conf，编辑内容如下

port 7004
    bind 192.168.4.63
    daemonize yes
    pidfile 7004.pid
    cluster-enabled yes
    cluster-config-file 7004_node.conf
    cluster-node-timeout 15000
    appendonly yes

*  在conf目录下创建文件件7005.conf，编辑内容如下

port 7005
    bind 192.168.4.63
    daemonize yes
    pidfile 7005.pid
    cluster-enabled yes
    cluster-config-file 7005_node.conf
    cluster-node-timeout 15000
    appendonly yes

*  即conf目录则有以下三个配置文件

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 6][]

*  使用配置文件启动redis服务 （cluster表示集群）

![20190414102128840.png][]

**3.创建集群**

*  redis的安装包中包含了redis-trib.rb，用于创建集群
 *  接下来的操作在ubuntu1机器上进行
 *  将redis-trib.rb文件拷贝到/usr/local/bin目录下

sudo cp /usr/share/doc/redis-tools/examples/redis-trib.rb /usr/local/bin/

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 7][]

*  安装ruby环境，因为redis-trib.rb是由ruby语言开发的

![20190414105630302.png][]

*  运行如下命令创建集群

redis-trib.rb create --replicas 1 192.168.4.15:7000 192.168.4.15:7001 192.168.4.15:7002 192.168.4.63:7003 192.168.4.63:7004 192.168.4.63:7005

*  出现以下错误

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 8][]

*  执行命令提示如上报错，主要原因是由于安装的 ruby 不是最新版本 
 *  查看当前的gem源地址

![20190414110441745.png][]

*  更换gem源地址

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 9][]

*  通过 gem 安装 redis 的相关依赖

![20190414120429437.png][]

*  再次执行命令成功

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 10][]

*  根据搭建集群成功提示信息，可以看到一共有6个节点，其中三个为master主节点以及另外三个从节点，并且该三个从节点从属于三个主节点，slots:0-5460 (5461 slots) master表示主节点负责处理槽（存储数据），而从节点则是主节点的复制品

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 11][]

**4.数据验证**

**说明：**在集群中设置数据set key value时，会去计算设置的这个数据放在哪个范围的槽里面

*  如何计算槽的值

Redis集群没有并使用传统的一致性哈希来分配数据，而是采用另外一种叫做哈希 槽 (hash slot)的方式来分配的。redis cluster 默认分配了 16384 个slot，当我们 set一个key 时，会用CRC16算法来取模得到所属的slot，然后将这个key 分到哈 希槽区间的节点上，具体算法就是：CRC16(key) % 16384

*  在ubuntu1（192.168.4.15）机器上连接7002，加参数-c表示连接到集群

![20190414131117721.png][]

*  设置键和值，如果计算出来的slot值（槽值）范围在连接的192.168.4.15:7002节点上，则不会跳转链接到192.168.4.63:7003节点上

![20190414131259406.png][]

*  根据前面博主画的图或创建集群成功提示信息，来验证5789槽点值是否在192.168.4.63:7003节点上

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 12][]

*  在192.168.4.63:7003节点上，继续设置数据，根据计算出来的slot值来决定跳转或不跳转节点（则slot值范围在本节点范围内）

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 13][]

*  获取数据时，也会去计算slot值，当在slot值在本节点时，那么获取的是本节点设置的键值，则不会跳转节点，如果slot值范围不在本节点时，获取的键值是在其他节点上，即也会出现跳转

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 14][]

*  **需要注意的是：必须要3个或以上的主节点，否则在创建集群时会失败，并且当存活的主节点数小于总节点数的一半时，整个集群就无法提供服务了，即创建会失败**

### 五丶python与redis集群交互  ###

*  需要安装redis-py-cluster包

pip install redis-py-cluster

*  redis-py-cluster源码地址[https://github.com/Grokzen/redis-py-cluster][https_github.com_Grokzen_redis-py-cluster]
 *  创建文件redis\_cluster.py，示例码如下

from rediscluster import StrictRedisCluster
    if __name__ == '__main__':
      try:
          # 构建所有的节点，Redis会使⽤CRC16算法，将键和值写到某个节点上
          startup_nodes = [
              {'host': '192.168.4.15', 'port': '7000'},
              {'host': '192.168.4.63', 'port': '7003'},
              {'host': '192.168.4.15', 'port': '7001'},
          ]
          # 构建StrictRedisCluster对象
          src=StrictRedisCluster(startup_nodes=startup_nodes,decode_responses=True)
          # 设置键为name、值为gebilaowang的数据
          result=src.set('name','gebilaowang')
          print(result)
          # 获取键为name
          name = src.get('name')
          print(name)
      except Exception as e:
          print(e)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70]: /images/20220220/45c9ae53517e4a77afbcc0457805a85e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 1]: /images/20220220/7005154a9dda4f0bbb80a3dd07a73aba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 2]: /images/20220220/445564a26d5946408c8d24e15ae5e3f4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 3]: /images/20220220/27791ac32cff411399c0b49f723bf054.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 4]: /images/20220220/72dac379084f49d18964d991cd075edb.png
[20190414094543602.png]: /images/20220220/a924e2e72b4d48258100d81ea3dfb7c7.png
[20190414094724163.png]: /images/20220220/6a6504c27fac4f5a89d43422ed76541a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 5]: /images/20220220/38b0785da76e4548b8e4ef60b73bd048.png
[20190414100304183.png]: /images/20220220/c798e7bdd52845c387fff030ba22e7af.png
[Redis]: https://blog.csdn.net/qq_41782425/article/details/89287723
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 6]: /images/20220220/6cbc1f84fef84de6a35a409c79afb408.png
[20190414102128840.png]: /images/20220220/65d3f499badc40269cf795e84a1dcbba.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 7]: /images/20220220/717825aa08e34d9a899ff757cbe91379.png
[20190414105630302.png]: /images/20220220/105926245c53458d892464feb48c8ef2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 8]: /images/20220220/962b436d23834d3997864e34deedf2e3.png
[20190414110441745.png]: /images/20220220/10c0127c94ce46899fc605bec191f1b3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 9]: /images/20220220/ff0b28be3bdf4ffc98db6ea78de93e21.png
[20190414120429437.png]: /images/20220220/2eabfaddc1094b46a3c861e0d4067437.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 10]: /images/20220220/1049951efe89462a9f5d20d220a6ff2e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 11]: /images/20220220/96c4441d39b448caaf3696022d4cb8dc.png
[20190414131117721.png]: /images/20220220/2bf8824edb2d4418a1f36a811d43f715.png
[20190414131259406.png]: /images/20220220/af7f24f4d22d4e989ce5e01ac345c898.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 12]: /images/20220220/046a6ffa87dd4126877498da5f4a1e3b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 13]: /images/20220220/af8dae5abe354dffaa7764668c8a0b2c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzgyNDI1_size_16_color_FFFFFF_t_70 14]: /images/20220220/7b003726867b427ea747ba838b24808d.png
[https_github.com_Grokzen_redis-py-cluster]: https://github.com/Grokzen/redis-py-cluster