redis 3.0的集群部署

青旅半醒 2021-09-10 10:42 323阅读 0赞

文章转载自： [http://hot66hot.iteye.com/blog/2050676][http_hot66hot.iteye.com_blog_2050676]

# 转载请注明出处:http://hot66hot.iteye.com/admin/blogs/2050676 #

最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到redis3 release出来后，换掉memCache 集群.

# 一:关于redis cluster #

## 1:redis cluster的现状 ##

reids-cluster计划在redis3.0中推出，可以看作者antirez的声明:[http://antirez.com/news/49][http_antirez.com_news_49] (ps:跳票了好久，今年貌似加快速度了),目前的最新版本是redis3 beta2(2.9.51).

作者的目标:Redis Cluster will support up to ~1000 nodes. 赞...

目前redis支持的cluster特性(已亲测):

1):节点自动发现

2):slave->master 选举,集群容错

3):Hot resharding:在线分片

4):进群管理:cluster xxx

5):基于配置(nodes-port.conf)的集群管理

6):ASK 转向/MOVED 转向机制.

## 2:redis cluster 架构 ##

1)redis-cluster架构图

![134caad7-0591-3edd-9162-6ae43d068333.jpg][]

架构细节:

(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可

(4)redis-cluster把所有的物理节点映射到\[0-16383\]slot上,cluster 负责维护node<->slot<->value

2) redis-cluster选举:容错

![2bba02ae-da6c-3747-987d-6a4a3851ec6f.jpg][]

(1)领着选举过程是集群中所有master参与,如果半数以上master节点与master节点通信超过(cluster-node-timeout),认为当前master节点挂掉.

(2):什么时候整个集群不可用(cluster\_state:fail),当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误

a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态,也可以理解成进群的slot映射\[0-16383\]不完成时进入fail状态.

b:如果进群超过半数以上master挂掉，无论是否有slave集群进入fail状态.

# 二:redis cluster的使用 #

## 1:安装redis cluster ##

1):安装redis-cluster依赖:redis-cluster的依赖库在使用时有兼容问题,在reshard时会遇到各种错误,请按指定版本安装.

(1)确保系统安装zlib,否则gem install会报(no such file to load -- zlib)

Java代码   ![收藏代码][icon_star.png]

1.  \#download:zlib-1.2.6.tar  
2.  ./configure  
3.  make  
4.  make install

(1)安装ruby:version(1.9.2)

Java代码   ![收藏代码][icon_star.png]

1.  \# ruby1.9.2   
2.  cd /path/ruby  
3.  ./configure -prefix=/usr/local/ruby  
4.  make  
5.  make install  
6.  sudo cp ruby /usr/local/bin

(2)安装rubygem:version(1.8.16)

Java代码   ![收藏代码][icon_star.png]

1.  \# rubygems-1.8.16.tgz  
2.  cd /path/gem  
3.  sudo ruby setup.rb  
4.  sudo cp bin/gem /usr/local/bin

(3)安装gem-redis:version(3.0.0)

Java代码   ![收藏代码][icon_star.png]

1.  gem install redis --version 3.0.0  
2.  \#由于源的原因，可能下载失败，就手动下载下来安装  
3.  \#download地址:http://rubygems.org/gems/redis/versions/3.0.0  
4.  gem install -l /data/soft/redis-3.0.0.gem

2)安装redis-cluster

Java代码   ![收藏代码][icon_star.png]

1.  cd /path/redis  
2.  make  
3.  sudo cp /opt/redis/src/redis-server /usr/local/bin  
4.  sudo cp /opt/redis/src/redis-cli /usr/local/bin  
5.  sudo cp /opt/redis/src/redis-trib.rb /usr/local/bin

2:配置redis cluster

1)redis配置文件结构:

![f47c5c07-48d1-34f7-8ff8-36438820128c.jpg][]  
 使用包含(include)把通用配置和特殊配置分离,方便维护.

2)redis通用配置.

Java代码   ![收藏代码][icon_star.png]

1.  \#GENERAL  
2.  daemonize no  
3.  tcp-backlog 511  
4.  timeout 0  
5.  tcp-keepalive 0  
6.  loglevel notice  
7.  databases 16  
8.  dir /opt/redis/data  
9.  slave-serve-stale-data yes  
10. \#slave只读  
11. slave-read-only yes  
12. \#not use **default**  
13. repl-disable-tcp-nodelay yes  
14. slave-priority 100  
15. \#打开aof持久化  
16. appendonly yes  
17. \#每秒一次aof写  
18. appendfsync everysec  
19. \#关闭在aof rewrite的时候对新的写操作进行fsync  
20. no-appendfsync-on-rewrite yes  
21. auto-aof-rewrite-min-size 64mb  
22. lua-time-limit 5000  
23. \#打开redis集群  
24. cluster-enabled yes  
25. \#节点互连超时的阀值  
26. cluster-node-timeout 15000  
27. cluster-migration-barrier 1  
28. slowlog-log-slower-than 10000  
29. slowlog-max-len 128  
30. notify-keyspace-events ""  
31. hash-max-ziplist-entries 512  
32. hash-max-ziplist-value 64  
33. list-max-ziplist-entries 512  
34. list-max-ziplist-value 64  
35. set-max-intset-entries 512  
36. zset-max-ziplist-entries 128  
37. zset-max-ziplist-value 64  
38. activerehashing yes  
39. client-output-buffer-limit normal 0 0 0  
40. client-output-buffer-limit slave 256mb 64mb 60  
41. client-output-buffer-limit pubsub 32mb 8mb 60  
42. hz 10  
43. aof-rewrite-incremental-fsync yes

3)redis特殊配置.

Java代码   ![收藏代码][icon_star.png]

1.  \#包含通用配置  
2.  include /opt/redis/redis-common.conf  
3.  \#监听tcp端口  
4.  port 6379  
5.  \#最大可用内存  
6.  maxmemory 100m  
7.  \#内存耗尽时采用的淘汰策略:  
8.  \# **volatile**\-lru -> remove the key with an expire set using an LRU algorithm  
9.  \# allkeys-lru -> remove any key accordingly to the LRU algorithm  
10. \# **volatile**\-random -> remove a random key with an expire set  
11. \# allkeys-random -> remove a random key, any key  
12. \# **volatile**\-ttl -> remove the key with the nearest expire time (minor TTL)  
13. \# noeviction -> don't expire at all, just **return** an error on write operations  
14. maxmemory-policy allkeys-lru  
15. \#aof存储文件  
16. appendfilename "appendonly-6379.aof"  
17. \#rdb文件,只用于动态添加slave过程  
18. dbfilename dump-6379.rdb  
19. \#cluster配置文件(启动自动生成)  
20. cluster-config-file nodes-6379.conf  
21. \#部署在同一机器的redis实例，把<span style="font-size: 1em; line-height: 1.5;">auto-aof-rewrite搓开，防止瞬间fork所有redis进程做rewrite,占用大量内存</span>  
22. auto-aof-rewrite-percentage 80\-100

3:cluster 操作

cluster集群相关命令,更多redis相关命令见文档:[http://redis.readthedocs.org/en/latest/][http_redis.readthedocs.org_en_latest]

Java代码   ![收藏代码][icon_star.png]

1.  集群  
2.  CLUSTER INFO 打印集群的信息  
3.  CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。  
4.  节点  
5.  CLUSTER MEET <ip> <port> 将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。  
6.  CLUSTER FORGET <node\_id> 从集群中移除 node\_id 指定的节点。  
7.  CLUSTER REPLICATE <node\_id> 将当前节点设置为 node\_id 指定的节点的从节点。  
8.  CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面。  
9.  槽(slot)  
10. CLUSTER ADDSLOTS <slot> \[slot ...\] 将一个或多个槽（slot）指派（assign）给当前节点。  
11. CLUSTER DELSLOTS <slot> \[slot ...\] 移除一个或多个槽对当前节点的指派。  
12. CLUSTER FLUSHSLOTS 移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。  
13. CLUSTER SETSLOT <slot> NODE <node\_id> 将槽 slot 指派给 node\_id 指定的节点，如果槽已经指派给另一个节点，那么先让另一个节点删除该槽>，然后再进行指派。  
14. CLUSTER SETSLOT <slot> MIGRATING <node\_id> 将本节点的槽 slot 迁移到 node\_id 指定的节点中。  
15. CLUSTER SETSLOT <slot> IMPORTING <node\_id> 从 node\_id 指定的节点中导入槽 slot 到本节点。  
16. CLUSTER SETSLOT <slot> STABLE 取消对槽 slot 的导入（**import**）或者迁移（migrate）。  
17. 键  
18. CLUSTER KEYSLOT <key> 计算键 key 应该被放置在哪个槽上。  
19. CLUSTER COUNTKEYSINSLOT <slot> 返回槽 slot 目前包含的键值对数量。  
20. CLUSTER GETKEYSINSLOT <slot> <count> 返回 count 个 slot 槽中的键。

4:redis cluster 运维操作

### 1)初始化并构建集群 ###

(1)\#启动集群相关节点（必须是空节点）,指定配置文件和输出日志

Java代码   ![收藏代码][icon_star.png]

1.  redis-server /opt/redis/conf/redis-6380.conf > /opt/redis/logs/redis-6380.log 2>&1 &  
2.  redis-server /opt/redis/conf/redis-6381.conf > /opt/redis/logs/redis-6381.log 2>&1 &  
3.  redis-server /opt/redis/conf/redis-6382.conf > /opt/redis/logs/redis-6382.log 2>&1 &  
4.  redis-server /opt/redis/conf/redis-7380.conf > /opt/redis/logs/redis-7380.log 2>&1 &  
5.  redis-server /opt/redis/conf/redis-7381.conf > /opt/redis/logs/redis-7381.log 2>&1 &  
6.  redis-server /opt/redis/conf/redis-7382.conf > /opt/redis/logs/redis-7382.log 2>&1 &

(2):使用自带的ruby工具(redis-trib.rb)构建集群

Java代码   ![收藏代码][icon_star.png]

1.  \#redis-trib.rb的create子命令构建  
2.  \#--replicas 则指定了为Redis Cluster中的每个Master节点配备几个Slave节点  
3.  \#节点角色由顺序决定,先master之后是slave(为方便辨认,slave的端口比master大1000)  
4.  redis-trib.rb create --replicas 1 10.10.34.14:6380 10.10.34.14:6381 10.10.34.14:6382 10.10.34.14:7380 10.10.34.14:7381 10.10.34.14:7382

(3):检查集群状态,

Java代码   ![收藏代码][icon_star.png]

1.  \#redis-trib.rb的check子命令构建  
2.  \#ip:port可以是集群的任意节点  
3.  redis-trib.rb check 1 10.10.34.14:6380

最后输出如下信息,没有任何警告或错误，表示集群启动成功并处于ok状态

Java代码   ![收藏代码][icon_star.png]

1.  \[OK\] All nodes agree about slots configuration.  
2.  >>> Check **for** open slots...  
3.  >>> Check slots coverage...  
4.  \[OK\] All 16384 slots covered.

2):添加新master节点

(1)添加一个master节点:创建一个空节点（empty node），然后将某些slot移动到这个空节点上,这个过程目前需要人工干预

a):根据端口生成配置文件(ps:establish\_config.sh是我自己写的输出配置脚本)

Java代码   ![收藏代码][icon_star.png]

1.  sh establish\_config.sh 6386 > conf/redis-6386.conf

b):启动节点

Java代码   ![收藏代码][icon_star.png]

1.  nohup redis-server /opt/redis/conf/redis-6386.conf > /opt/redis/logs/redis-6386.log 2>&1 &

c):加入空节点到集群  
add-node  将一个节点添加到集群里面， 第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port

Java代码   ![收藏代码][icon_star.png]

1.  redis-trib.rb add-node 10.10.34.14:6386 10.10.34.14:6381

node:新节点没有包含任何数据， 因为它没有包含任何slot。新加入的加点是一个主节点， 当集群需要将某个从节点升级为新的主节点时， 这个新节点不会被选中

d):为新节点分配slot

Java代码   ![收藏代码][icon_star.png]

1.  redis-trib.rb reshard 10.10.34.14:6386  
2.  \#根据提示选择要迁移的slot数量(ps:这里选择500)  
3.  How many slots **do** you want to move (from 1 to 16384)? 500  
4.  \#选择要接受这些slot的node-id  
5.  What is the receiving node ID? f51e26b5d5ff74f85341f06f28f125b7254e61bf  
6.  \#选择slot来源:  
7.  \#all表示从所有的master重新分配，  
8.  \#或者数据要提取slot的master节点id,最后用done结束  
9.  Please enter all the source node IDs.  
10.   Type 'all' to use all the nodes as source nodes **for** the hash slots.  
11.   Type 'done' once you entered all the source nodes IDs.  
12. Source node \#1:all  
13. \#打印被移动的slot后，输入yes开始移动slot以及对应的数据.  
14. \#Do you want to proceed with the proposed reshard plan (yes/no)? yes  
15. \#结束

### 3):添加新的slave节点 ###

a):前三步操作同添加master一样

b)第四步:redis-cli连接上新节点shell,输入命令:cluster replicate 对应master的node-id

Java代码   ![收藏代码][icon_star.png]

1.  cluster replicate 2b9ebcbd627ff0fd7a7bbcc5332fb09e72788835

note:在线添加slave 时，需要dump整个master进程，并传递到slave，再由 slave加载rdb文件到内存，rdb传输过程中Master可能无法提供服务,整个过程消耗大量io,小心操作.

例如本次添加slave操作产生的rdb文件

Java代码   ![收藏代码][icon_star.png]

1.  \-rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-6386.rdb  
2.  \-rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-7386.rdb

4):在线reshard 数据:

对于负载/数据均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是老节点.

### 5):删除一个slave节点 ###

Java代码   ![收藏代码][icon_star.png]

1.  \#redis-trib del-node ip:port '<node-id>'  
2.  redis-trib.rb del-node 10.10.34.14:7386 'c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378'

6):删除一个master节点

a):删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点(目前只能把被删除

master的slot迁移到一个节点上)

Java代码   ![收藏代码][icon_star.png]

1.  \#把10.10.34.14:6386当前master迁移到10.10.34.14:6380上  
2.  redis-trib.rb reshard 10.10.34.14:6380  
3.  \#根据提示选择要迁移的slot数量(ps:这里选择500)  
4.  How many slots **do** you want to move (from 1 to 16384)? 500(被删除master的所有slot数量)  
5.  \#选择要接受这些slot的node-id(10.10.34.14:6380)  
6.  What is the receiving node ID? c4a31c852f81686f6ed8bcd6d1b13accdc947fd2 (ps:10.10.34.14:6380的node-id)  
7.  Please enter all the source node IDs.  
8.    Type 'all' to use all the nodes as source nodes **for** the hash slots.  
9.    Type 'done' once you entered all the source nodes IDs.  
10. Source node \#1:f51e26b5d5ff74f85341f06f28f125b7254e61bf(被删除master的node-id)  
11. Source node \#2:done  
12. \#打印被移动的slot后，输入yes开始移动slot以及对应的数据.  
13. \#Do you want to proceed with the proposed reshard plan (yes/no)? yes

b):删除空master节点

Java代码   ![收藏代码][icon_star.png]

1.  redis-trib.rb del-node 10.10.34.14:6386 'f51e26b5d5ff74f85341f06f28f125b7254e61bf'

三:redis cluster 客户端(Jedis)

## 1:客户端基本操作使用 ##

Java代码   ![收藏代码][icon_star.png]

1.  <span style="color: \#333333; font-family: Arial, sans-serif;"><span style="color: \#333333; font-family: Arial, sans-serif;"> **private** **static** BinaryJedisCluster jc;  
2.    **static** \{  
3.         //只给集群里一个实例就可以  
4.          Set<HostAndPort> jedisClusterNodes = **new** HashSet<HostAndPort>();  
5.          jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 6380));  
6.          jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 6381));  
7.          jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 6382));  
8.          jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 6383));  
9.          jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 6384));  
10.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 7380));  
11.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 7381));  
12.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 7382));  
13.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 7383));  
14.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 7384));  
15.         jc = **new** BinaryJedisCluster(jedisClusterNodes);  
16.     \}  
17. @Test  
18.     **public** **void** testBenchRedisSet() **throws** Exception \{  
19.         **final** Stopwatch stopwatch = **new** Stopwatch();  
20.         List list = buildBlogVideos();  
21.         **for** (**int** i = 0; i < 1000; i++) \{  
22.             String key = "key:" + i;  
23.             stopwatch.start();  
24.             **byte**\[\] bytes1 = protostuffSerializer.serialize(list);  
25.             jc.setex(key, 60 \* 60, bytes1);  
26.             stopwatch.stop();  
27.         \}  
28.         System.out.println("time=" + stopwatch.toString());  
29.     \}</span></span>

## 2:jedis客户端的坑. ##

1)cluster环境下redis的slave不接受任何读写操作，

2)client端不支持keys批量操作,不支持select dbNum操作，只有一个db:select 0

3)JedisCluster 的info()等单机函数无法调用,返回(No way to dispatch this command to Redis Cluster)错误，.

4)JedisCluster 没有针对byte\[\]的API，需要自己扩展(附件是我加的基于byte\[\]的BinaryJedisCluster  api)

参考文档:

[http://redis.io/topics/cluster-spec][http_redis.io_topics_cluster-spec]

[http://redis.io/topics/cluster-tutorial][http_redis.io_topics_cluster-tutorial]

*  [jedis-2.5.0-sohu-20140420.125537-2-sources.jar][] (115.2 KB)
 *  下载次数: 6

*  [jedis-2.5.0-sohu-20140420.125537-2.jar][] (342.8 KB)
 *  下载次数: 5

*  [查看图片附件][Link 1]

[http_hot66hot.iteye.com_blog_2050676]: http://hot66hot.iteye.com/blog/2050676
[http_antirez.com_news_49]: http://antirez.com/news/49
[134caad7-0591-3edd-9162-6ae43d068333.jpg]: /images/20210726/5264090bdcc645e4ae99b83e8f402c54.png
[2bba02ae-da6c-3747-987d-6a4a3851ec6f.jpg]: /images/20210726/724ffbe0d4f54504b9ac1bb84b2c8f59.png
[icon_star.png]: /images/20210726/025363ddfa554600b7e2bed5c4585ca8.png
[f47c5c07-48d1-34f7-8ff8-36438820128c.jpg]: /images/20210726/82e23abc43714d5faa6b34aa25be18d1.png
[http_redis.readthedocs.org_en_latest]: http://redis.readthedocs.org/en/latest/
[http_redis.io_topics_cluster-spec]: http://redis.io/topics/cluster-spec
[http_redis.io_topics_cluster-tutorial]: http://redis.io/topics/cluster-tutorial
[jedis-2.5.0-sohu-20140420.125537-2-sources.jar]: http://dl.iteye.com/topics/download/9451e9ab-7d18-3c10-b7dd-f7e3aeac516d
[jedis-2.5.0-sohu-20140420.125537-2.jar]: http://dl.iteye.com/topics/download/5086eacc-3c93-3b32-9044-de80a96591f0
[Link 1]: http://hot66hot.iteye.com/blog/2050676#

发表评论取消回复

表情：

评论列表（有 0 条评论，323人围观）

还没有评论，来说两句吧...

相关阅读

相关 redis 集群部署

部署方式：docker-compose 以此镜像启动容器 ![image.png][] 编写docker-compose文件启动六个

我不是女神ヾ/ 2023年06月16日 14:54/ 0 赞/ 21 阅读

相关 Redis集群模式部署

> 本文个人博客地址：[http://www.huweihuang.com/article/redis/redis-cluster/][http_www.huweihuang.

刺骨的言语ヽ痛彻心扉/ 2022年05月31日 01:35/ 0 赞/ 332 阅读

相关 centos-redis集群部署

1、安装ruby 去[http://www.ruby-lang.org/en/downloads/][http_www.ruby-lang.org_en_downloads]下

柔情只为你懂/ 2022年05月17日 00:21/ 0 赞/ 354 阅读

相关 Redis集群模式部署

Redis集群模式部署 > Redis 集群中内置了 16384 个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用

刺骨的言语ヽ痛彻心扉/ 2022年05月10日 08:14/ 0 赞/ 369 阅读

相关 redis的集群部署

1、工具 / 环境机器环境：linux虚拟机操作系统：CentOS Linux release 7.4.1708 (Core) 3台虚拟机IP：1

比眉伴天荒/ 2022年04月22日 00:40/ 0 赞/ 343 阅读

相关 Redis集群部署

准备 `CentOS`：7 `Redis`：4.0.11 测试在3台虚拟机上进行，`ip` 分别为： `172.16.105.128` `172.16.

女爷i/ 2022年04月18日 06:33/ 0 赞/ 466 阅读

相关 redis集群部署

一、概述 Redis3.0版本之后支持Cluster. 1.1、redis cluster的现状　　目前redis支持的cluster特性：　　1):节点

迷南。/ 2022年04月10日 13:49/ 0 赞/ 517 阅读

相关 Redis集群演变过程&集群部署

1、Redis集群方案比较 1. 哨兵模式 ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0c

分手后的思念是犯贱/ 2022年04月03日 03:08/ 0 赞/ 467 阅读

相关 redis集群部署

本节着重讲解redis集群部署，如未清楚单节点部署的请浏览本人的关于单节点部署的文章。地址：[https://blog.csdn.net/wohiusdashi/artic

末蓝、/ 2022年03月29日 03:39/ 0 赞/ 422 阅读

相关 redis集群部署

一、首先在server1上部署redis服务具体步骤可参考：[redis通过哨兵模式实现主从切换][redis] 二、创建redis集群目录三、进入各个目录下

落日映苍穹つ/ 2022年01月30日 03:25/ 0 赞/ 512 阅读