Redis3.0集群部署

我会带着你远行 2022-07-31 17:16 196阅读 0赞

Redis集群部署文档(centos6系统)

基本是按照官方文档去做的。

（要让集群正常工作至少需要3个主节点，在这里我们要创建6个redis节点，其中三个为主节点，三个为从节点，对应的redis节点的ip和端口对应关系如下）

127.0.0.1:7000  
127.0.0.1:7001

127.0.0.1:7002

127.0.0.1:7003

127.0.0.1:7004

127.0.0.1:7005

1：下载redis。官网下载3.0.2稳定版本，之前2.几的版本不支持集群模式

下载地址：http://download.redis.io/releases/redis-3.0.2.tar.gz

2：上传服务器，解压，编译

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px"> 
 <tbody> 
 <tr> 
 <td> 首先安装依赖包。。。。 yum install -y gcc gcc-c++ kernel-devel yum install –y gcc* yum install -y tcl yum install -y jemalloc jemalloc-devel yum install -y ruby yum install -y rubygems 解压安装包， tar&nbsp;-zxvf&nbsp;redis-3.0.0-rc2.tar.gz&nbsp; mv&nbsp;redis-3.0.0-rc2.tar.gz&nbsp;redis3.0 cd&nbsp;/usr/local/redis3.0 make 如果报错&nbsp;zmalloc.h:50:31: 错误：jemalloc/jemalloc.h：没有那个文件或目录 请换成&nbsp;make MALLOC=libc make test&nbsp; make&nbsp;install </td> 
 </tr> 
 </tbody> 
</table>

3：创建集群需要的目录

4：修改配置文件redis.conf

<table style="color:rgb(0,0,0); font-family:Arial; font-size:14px; line-height:26px"> 
 <tbody> 
 <tr> 
 <td> cp&nbsp;/usr/local/redis3.0/redis.conf &nbsp;/data0/redis_cluster vi&nbsp;redis.conf ##修改配置文件中的下面选项 port&nbsp;7000 cluster-config-file nodes-7004.conf daemonize&nbsp;yes cluster-enabled&nbsp;yes cluster-config-file&nbsp;nodes.conf cluster-node-timeout&nbsp;5000 appendonly&nbsp;yes cluster-require-full-coverage no&nbsp;默认是yes，只要有结点宕机导致16384个槽没全被覆盖，整个集群就全部停止服务，所以一定要改为no dir&nbsp;/data0/redis/data ##修改完redis.conf配置文件中的这些配置项之后把这个配置文件分别拷贝到7000/7001/7002/7003/7004/7005目录下面 cp&nbsp;/usr/local/cluster/redis.conf&nbsp;/usr/local/cluster/7000 cp&nbsp;/usr/local/cluster/redis.conf&nbsp;/usr/local/cluster/7001 cp&nbsp;/usr/local/cluster/redis.conf&nbsp;/usr/local/cluster/7002 cp&nbsp;/usr/local/cluster/redis.conf&nbsp;/usr/local/cluster/7003 cp&nbsp;/usr/local/cluster/redis.conf&nbsp;/usr/local/cluster/7004 cp&nbsp;/usr/local/cluster/redis.conf&nbsp;/usr/local/cluster/7005 &nbsp; ##注意：拷贝完成之后要修改7001/7002/7003/7004/7005目录下面redis.conf文件中的port参数，分别改为对应的文件夹的名称 &nbsp; </td> 
 </tr> 
 </tbody> 
</table>

5：分别启动这6个redis实例

6：执行redis的创建集群命令创建集群

6.1执行上面的命令的时候会报错，因为是执行的ruby的脚本，需要ruby的环境

错误内容：/usr/bin/env: ruby: No such file or directory

所以需要安装ruby的环境，这里推荐使用yum install ruby安装

6.2然后再执行第6步的创建集群命令，还会报错，提示缺少rubygems组件，使用yum安装

错误内容：

./redis-trib.rb:24:in \`require': no such file to load -- rubygems (LoadError)

from ./redis-trib.rb:24

6.3再次执行第6步的命令，还会报错，提示不能加载redis，是因为缺少redis和ruby的接口，使用gem 安装

错误内容：

/usr/lib/ruby/site\_ruby/1.8/rubygems/custom\_require.rb:31:in \`gem\_original\_require': no such file to load -- redis (LoadError)

from /usr/lib/ruby/site\_ruby/1.8/rubygems/custom\_require.rb:31:in \`require'

from ./redis-trib.rb:25

此命令安装时会提示超时。根本无法下载。很明显被和谐了。。。

修改gem源，命令如下

$ gem sources --remove https://rubygems.org/  
$ gem sources -a https://ruby.taobao.org/  
$ gem sources -l  
  
\# 请确保只有 ruby.taobao.org

下次执行

应该会成功。

6.4 再次执行第6步的命令，正常执行

cd /usr/local/redis3.0/src

./redis-trib.rb  create --replicas 1 192.168.0.30:7000 192.168.0.30:7001 192.168.0.30:7002 192.168.0.31:7003 192.168.0.31:7004 192.168.0.31:7005

\#\#replicas 1 表示为每个主节点增加一个从节点

![Image 1][]

输入yes，然后配置完成。

![Image 1][]![Image 1][]

至此redis集群即搭建成功！

7：使用redis-cli命令进入集群环境

测试代码   ![收藏代码][icon_star.png]

1.  $ redis-cli -c -p 7000  
2.  redis 127.0.0.1:7000> set foo bar  
3.  \-> Redirected to slot \[12182\] located at 127.0.0.1:7002  
4.  OK  
5.  redis 127.0.0.1:7002> set name lixiaomng  
6.  \-> Redirected to slot \[866\] located at 127.0.0.1:7000  
7.  OK  
8.  redis 127.0.0.1:7000> get foo  
9.  \-> Redirected to slot \[12182\] located at 127.0.0.1:7002  
10. "bar"  
11. redis 127.0.0.1:7000> get name
12. \-> Redirected to slot \[866\] located at 127.0.0.1:7000  
13. "lixiaomeng"  
14.

查看所有节点

\# redis-cli -h 127.0.0.1 -p 7000 cluster nodes

到此，redis 集群完成。

### 3:cluster 操作 ###

cluster集群相关命令,更多redis相关命令见文档:[http://redis.readthedocs.org/en/latest/][http_redis.readthedocs.org_en_latest]

Java代码   ![收藏代码][icon_star.png 1]

1. 集群  
2. CLUSTER INFO 打印集群的信息  
3. CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。  
4. 节点  
5. CLUSTER MEET <ip> <port> 将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。  
6. CLUSTER FORGET <node\_id> 从集群中移除 node\_id 指定的节点。  
7. CLUSTER REPLICATE <node\_id> 将当前节点设置为 node\_id 指定的节点的从节点。  
8. CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面。  
9. 槽(slot)  
10. CLUSTER ADDSLOTS <slot> \[slot ...\] 将一个或多个槽（slot）指派（assign）给当前节点。  
11. CLUSTER DELSLOTS <slot> \[slot ...\] 移除一个或多个槽对当前节点的指派。  
12. CLUSTER FLUSHSLOTS 移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。  
13. CLUSTER SETSLOT <slot> NODE <node\_id> 将槽 slot 指派给 node\_id 指定的节点，如果槽已经指派给另一个节点，那么先让另一个节点删除该槽>，然后再进行指派。  
14. CLUSTER SETSLOT <slot> MIGRATING <node\_id> 将本节点的槽 slot 迁移到 node\_id 指定的节点中。  
15. CLUSTER SETSLOT <slot> IMPORTING <node\_id> 从 node\_id 指定的节点中导入槽 slot 到本节点。  
16. CLUSTER SETSLOT <slot> STABLE 取消对槽 slot 的导入（**import**）或者迁移（migrate）。  
17. 键  
18. CLUSTER KEYSLOT <key> 计算键 key 应该被放置在哪个槽上。  
19. CLUSTER COUNTKEYSINSLOT <slot> 返回槽 slot 目前包含的键值对数量。  
20. CLUSTER GETKEYSINSLOT <slot> <count> 返回 count 个 slot 槽中的键。

### 4:redis cluster 运维操作 ###

### 1)初始化并构建集群 ###

(1)启动集群相关节点（必须是空节点,beta3后可以是有数据的节点）,指定配置文件和输出日志

Java代码   ![收藏代码][icon_star.png 1]

1.  redis-server /opt/redis/conf/redis-6380.conf > /opt/redis/logs/redis-6380.log 2>&1 &  
2.  redis-server /opt/redis/conf/redis-6381.conf > /opt/redis/logs/redis-6381.log 2>&1 &  
3.  redis-server /opt/redis/conf/redis-6382.conf > /opt/redis/logs/redis-6382.log 2>&1 &  
4.  redis-server /opt/redis/conf/redis-7380.conf > /opt/redis/logs/redis-7380.log 2>&1 &  
5.  redis-server /opt/redis/conf/redis-7381.conf > /opt/redis/logs/redis-7381.log 2>&1 &  
6.  redis-server /opt/redis/conf/redis-7382.conf > /opt/redis/logs/redis-7382.log 2>&1 &

(2):使用自带的ruby工具(redis-trib.rb)构建集群

Java代码   ![收藏代码][icon_star.png 1]

1.  \#redis-trib.rb的create子命令构建  
2.  \#--replicas 则指定了为Redis Cluster中的每个Master节点配备几个Slave节点  
3.  \#节点角色由顺序决定,先master之后是slave(为方便辨认,slave的端口比master大1000)  
4.  redis-trib.rb create --replicas 1 10.10.34.14:6380 10.10.34.14:6381 10.10.34.14:6382 10.10.34.14:7380 10.10.34.14:7381 10.10.34.14:7382

(3):检查集群状态

Java代码   ![收藏代码][icon_star.png 1]

1.  \#redis-trib.rb的check子命令构建  
2.  \#ip:port可以是集群的任意节点  
3.  redis-trib.rb check 10.10.34.14:6380

最后输出如下信息,没有任何警告或错误，表示集群启动成功并处于ok状态

Java代码   ![收藏代码][icon_star.png 1]

1.  \[OK\] All nodes agree about slots configuration.  
2.  >>> Check **for** open slots...  
3.  >>> Check slots coverage...  
4.  \[OK\] All 16384 slots covered.

#### 2):添加新master节点 ####

(1)添加一个master节点:创建一个空节点（empty node），然后将某些slot移动到这个空节点上,这个过程目前需要人工干预

a):根据端口生成配置文件(ps:establish\_config.sh是我自己写的输出配置脚本)

Java代码   ![收藏代码][icon_star.png 1]

1.  sh establish\_config.sh 6386 > conf/redis-6386.conf

b):启动节点

Java代码   ![收藏代码][icon_star.png 1]

1.  redis-server /opt/redis/conf/redis-6386.conf > /opt/redis/logs/redis-6386.log 2>&1 &

c):加入空节点到集群  
add-node  将一个节点添加到集群里面， 第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port

Java代码   ![收藏代码][icon_star.png 1]

1.  redis-trib.rb add-node 10.10.34.14:6386 10.10.34.14:6381

node:新节点没有包含任何数据， 因为它没有包含任何slot。新加入的加点是一个主节点， 当集群需要将某个从节点升级为新的主节点时， 这个新节点不会被选中，同时新的主节点因为没有包含任何slot，不参加选举和failover。

d):为新节点分配slot

Java代码   ![收藏代码][icon_star.png 1]

1.  redis-trib.rb reshard 10.10.34.14:6386  
2.  \#根据提示选择要迁移的slot数量(ps:这里选择500)  
3.  How many slots **do** you want to move (from 1 to 16384)? 500  
4.  \#选择要接受这些slot的node-id  
5.  What is the receiving node ID? f51e26b5d5ff74f85341f06f28f125b7254e61bf  
6.  \#选择slot来源:  
7.  \#all表示从所有的master重新分配，  
8.  \#或者数据要提取slot的master节点id,最后用done结束  
9.  Please enter all the source node IDs.  
10.   Type 'all' to use all the nodes as source nodes **for** the hash slots.  
11.   Type 'done' once you entered all the source nodes IDs.  
12. Source node \#1:all  
13. \#打印被移动的slot后，输入yes开始移动slot以及对应的数据.  
14. \#Do you want to proceed with the proposed reshard plan (yes/no)? yes  
15. \#结束

#### 3):添加新的slave节点 ####

a):前三步操作同添加master一样

b)第四步:redis-cli连接上新节点shell,输入命令:cluster replicate 对应master的node-id

Java代码   ![收藏代码][icon_star.png 1]

1.  cluster replicate 2b9ebcbd627ff0fd7a7bbcc5332fb09e72788835

注意:在线添加slave 时，需要bgsave整个master数据，并传递到slave，再由 slave加载rdb文件到内存，rdb生成和传输的过程中消耗Master大量内存和网络IO,以此不建议单实例内存过大，线上小心操作。

例如本次添加slave操作产生的rdb文件

Java代码   ![收藏代码][icon_star.png 1]

1.  \-rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-6386.rdb  
2.  \-rw-r--r-- 1 root root  34946 Apr 17 18:23 dump-7386.rdb

### 4):在线reshard 数据: ###

对于负载/数据不均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是已存在的老节点.

### 5):删除一个slave节点 ###

Java代码   ![收藏代码][icon_star.png 1]

1. \#redis-trib del-node ip:port '<node-id>'  
2. redis-trib.rb del-node 10.10.34.14:7386 'c7ee2fca17cb79fe3c9822ced1d4f6c5e169e378'

###  6):删除一个master节点 ###

a):删除master节点之前首先要使用reshard移除master的全部slot,然后再删除当前节点

(目前redis-trib.rb只能把被删除master的slot对应的数据迁移到一个节点上)

Java代码   ![收藏代码][icon_star.png 1]

1.  \#把10.10.34.14:6386当前master迁移到10.10.34.14:6380上  
2.  redis-trib.rb reshard 10.10.34.14:6380  
3.  \#根据提示选择要迁移的slot数量(ps:这里选择500)  
4.  How many slots **do** you want to move (from 1 to 16384)? 500(被删除master的所有slot数量)  
5.  \#选择要接受这些slot的node-id(10.10.34.14:6380)  
6.  What is the receiving node ID? c4a31c852f81686f6ed8bcd6d1b13accdc947fd2 (ps:10.10.34.14:6380的node-id)  
7.  Please enter all the source node IDs.  
8.    Type 'all' to use all the nodes as source nodes **for** the hash slots.  
9.    Type 'done' once you entered all the source nodes IDs.  
10. Source node \#1:f51e26b5d5ff74f85341f06f28f125b7254e61bf(被删除master的node-id)  
11. Source node \#2:done  
12. \#打印被移动的slot后，输入yes开始移动slot以及对应的数据.  
13. \#Do you want to proceed with the proposed reshard plan (yes/no)? yes

b):删除空master节点

Java代码   ![收藏代码][icon_star.png 1]

1.  redis-trib.rb del-node 10.10.34.14:6386 'f51e26b5d5ff74f85341f06f28f125b7254e61bf'

三:redis cluster 客户端(Jedis)

## 1:客户端基本操作使用 ##

Java代码   ![收藏代码][icon_star.png 1]

1. <span style="font-size: 16px;"> **private** **static** BinaryJedisCluster jc;  
2.   **static** \{  
3.        //只给集群里一个实例就可以  
4.         Set<HostAndPort> jedisClusterNodes = **new** HashSet<HostAndPort>();  
5.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 6380));  
6.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 6381));  
7.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 6382));  
8.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 6383));  
9.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 6384));  
10.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 7380));  
11.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 7381));  
12.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 7382));  
13.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 7383));  
14.         jedisClusterNodes.add(**new** HostAndPort("10.10.34.14", 7384));  
15.         jc = **new** BinaryJedisCluster(jedisClusterNodes);  
16.     \}  
17. @Test  
18.     **public** **void** testBenchRedisSet() **throws** Exception \{  
19.         **final** Stopwatch stopwatch = **new** Stopwatch();  
20.         List list = buildBlogVideos();  
21.         **for** (**int** i = 0; i < 1000; i++) \{  
22.             String key = "key:" + i;  
23.             stopwatch.start();  
24.             **byte**\[\] bytes1 = protostuffSerializer.serialize(list);  
25.             jc.setex(key, 60 \* 60, bytes1);  
26.             stopwatch.stop();  
27.         \}  
28.         System.out.println("time=" + stopwatch.toString());  
29.     \}

## 2:redis-cluster客户端的一些坑. ##

1)cluster环境下slave默认不接受任何读写操作，在slave执行readonly命令后，可执行读操作

2)client端不支持多key操作(mget,mset等)，但当keys集合对应的slot相同时支持mget操作见:[hash\_tag][hash_tag]

3)不支持多数据库，只有一个db，select 0。

4)JedisCluster 没有针对byte\[\]的API，需要自己扩展(附件是我加的基于byte\[\]的BinaryJedisCluster  api)

部分内容来自于网络。。。。。。。

以下内容来自于网络。

#### 1)redis通用配置. ####

Java代码   ![收藏代码][icon_star.png 1]

1.  \#GENERAL  
2.  daemonize no  
3.  tcp-backlog 511  
4.  timeout 0  
5.  tcp-keepalive 0  
6.  loglevel notice  
7.  databases 16  
8.  dir /opt/redis/data  
9.  slave-serve-stale-data yes  
10. \#slave只读  
11. slave-read-only yes  
12. \#not use **default**  
13. repl-disable-tcp-nodelay yes  
14. slave-priority 100  
15. \#打开aof持久化  
16. appendonly yes  
17. \#每秒一次aof写  
18. appendfsync everysec  
19. \#关闭在aof rewrite的时候对新的写操作进行fsync  
20. no-appendfsync-on-rewrite yes  
21. auto-aof-rewrite-min-size 64mb  
22. lua-time-limit 5000  
23. \#打开redis集群  
24. cluster-enabled yes  
25. \#节点互连超时的阀值  
26. cluster-node-timeout 15000  
27. cluster-migration-barrier 1  
28. slowlog-log-slower-than 10000  
29. slowlog-max-len 128  
30. notify-keyspace-events ""  
31. hash-max-ziplist-entries 512  
32. hash-max-ziplist-value 64  
33. list-max-ziplist-entries 512  
34. list-max-ziplist-value 64  
35. set-max-intset-entries 512  
36. zset-max-ziplist-entries 128  
37. zset-max-ziplist-value 64  
38. activerehashing yes  
39. client-output-buffer-limit normal 0 0 0  
40. client-output-buffer-limit slave 256mb 64mb 60  
41. client-output-buffer-limit pubsub 32mb 8mb 60  
42. hz 10  
43. aof-rewrite-incremental-fsync yes

#### 2)redis特殊配置. ####

Java代码   ![收藏代码][icon_star.png 1]

1.  \#包含通用配置  
2.  include /opt/redis/redis-common.conf  
3.  \#监听tcp端口  
4.  port 6379  
5.  \#最大可用内存  
6.  maxmemory 100m  
7.  \#内存耗尽时采用的淘汰策略:  
8.  \# **volatile**\-lru -> remove the key with an expire set using an LRU algorithm  
9.  \# allkeys-lru -> remove any key accordingly to the LRU algorithm  
10. \# **volatile**\-random -> remove a random key with an expire set  
11. \# allkeys-random -> remove a random key, any key  
12. \# **volatile**\-ttl -> remove the key with the nearest expire time (minor TTL)  
13. \# noeviction -> don't expire at all, just **return** an error on write operations  
14. maxmemory-policy allkeys-lru  
15. \#aof存储文件  
16. appendfilename "appendonly-6379.aof"  
17. \#不开启rdb存储,只用于添加slave过程  
18. dbfilename dump-6379.rdb  
19. \#cluster配置文件(启动自动生成)  
20. cluster-config-file nodes-6379.conf  
21. \#部署在同一机器的redis实例，把auto-aof-rewrite搓开，因为cluster环境下内存占用基本一致.  
22. \#防止同意机器下瞬间fork所有redis进程做aof rewrite,占用大量内存(ps:cluster必须开启aof)  
23. auto-aof-rewrite-percentage 80\-100

[Image 1]: 
[icon_star.png]: /images/20220801/c106025c30bd4f15bceaff2ffbb1e1d8.png
[http_redis.readthedocs.org_en_latest]: http://redis.readthedocs.org/en/latest/
[icon_star.png 1]: /images/20220801/fd26c6530b3544f6aa2a708b6604cca9.png
[hash_tag]: http://www.redis.io/commands/cluster-keyslot