redis3.0搭建分布式集群

浅浅的花香味﹌ 2024-02-17 16:46 35阅读 0赞

redis高版本使用ruby实现了集群，所以需要ruby环境，安装ruby环境和redis的gem接口后，就可以使用redis的redis-trib.rb脚本创建集群。

先列一下大的步骤。

1.修改配置文件，启动多个redis实例。

2.安装ruby、rubygems、redis ruby接口。

安装gem 需要ruby的版本在 1.8.7 以上，默认的centos5 上都是1.8.5 版本，所以首先你的升级你的ruby

3.gem 安装redis ruby 接口

4.redis-trib.rb脚本创建集群

——————————————————————————————————————————

本人使用两台桥接的虚拟机进行了分布式集群的搭建，系统为centos5。

具体操作过程：

1.修改配置文件，启动多个redis实例。

下载redis3.0版本[https://download.csdn.net/download/shy\_snow/85152933][https_download.csdn.net_download_shy_snow_85152933]

注意这里是redis3版本,新的redis5的集群方式和redis3已经不同了。redis5的安装看这里[redis5集群安装并设置密码\_shy\_snow的博客-CSDN博客\_redis 集群模式设置密码][redis5_shy_snow_-CSDN_redis]

解压后make编译安装

tar zxvf redis-3.0.7.tar.gz
    mv redis-3.0.7 redis
    cd redis
    sudo make && make install

创建单独目录，我是mkdir /usr/local/cluster ，再在其下创建目录 7000、7001、7002、7003

将redis.conf分别拷贝到这几个目录下面，并分别修改redis.conf 中的端口号port和目录名一致。

> \#后台启动，守护进程  
> daemonize yes  
> \#定义自己的pid文件  
> /var/run/redis\_7000.pid  
> \#定义端口号,各实例不同  
> port 7000
> 
> \#绑定自己所在机器的ip  
> bind 135.192.26.15 127.0.0.1  
> \#启用集群  
> cluster-enabled yes  
> \# 7000 7001 ... 集群自动创建的文件文件名不要相同防止覆盖  
> cluster-config-file nodes-7000.conf

启动4个实例

cd /usr/local/cluster

cd 7000

redis-server redis.conf

cd ../7001

redis-server redis.conf

如上把7002 7003也启动起来

然后在另一台虚拟机下创建 9000 9001 两个目录也按上面的redis-server redis.conf方法分别启动。

ps -ef|grep redis 看下是否都启动起来了

\[root@localhost ~\]\# ps -ef|grep redis

root 10957 1 0 00:15 ? 00:00:01 redis-server \*:7000 \[cluster\]

root 10961 1 0 00:15 ? 00:00:01 redis-server \*:7001 \[cluster\]

root 10965 1 0 00:15 ? 00:00:01 redis-server \*:7002 \[cluster\]

root 10982 1 0 00:15 ? 00:00:01 redis-server \*:7003 \[cluster\]

2.安装ruby、rubygems、redis ruby接口。

yum install ruby

yum install rubygems

gem install redis

理想情况下上面三行就搞定了，但是我的ruby版本太低，需要升级ruby。

安装gem 需要ruby的版本在 1.8.7 以上，默认的centos5 上都是1.8.5 版本：

所以需要升级zlib,升级ruby

先升级zlib

yum install -y gcc zlib zlib-devel

yum install ruby

查看下ruby的版本

ruby -v

rpm -ivh http://yum.puppetlabs.com/el/5/products/x86\_64/puppetlabs-release-5-6.noarch.rpm

yum install ruby ruby-devel rubygems rpm-build

rpm -ivh http://dl.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm

vi /etc/yum.repos.d/epel.repo 修改 enabled=1

yum install rubygems

3.gem 安装redis ruby 接口，我是先下载下来放到本地安装的。

wget https://rubygems.global.ssl.fastly.net/gems/redis-3.2.1.gem

sudo gem install -l ./redis-3.2.1.gem

4.redis-trib.rb脚本创建集群

cd /usr/local/redis3.0.5/

\# --replicas 1代表每个主节点有一个从节点,前面的是主节点,从节点是随机的

src/redis-trib.rb create --replicas 1 192.168.129.103:7000 192.168.129.103:7001 192.168.129.103:7002 192.168.129.103:7003 192.168.129.107:9000 192.168.129.107:9001

\[root@localhost src\]\# ./redis-trib.rb create --replicas 1 192.168.129.103:7000 192.168.129.103:7001 192.168.129.103:7002 192.168.129.103:7003 192.168.129.107:9000 192.168.129.107:9001

>>> Creating cluster

Connecting to node 192.168.129.103:7000: OK

Connecting to node 192.168.129.103:7001: OK

Connecting to node 192.168.129.103:7002: OK

Connecting to node 192.168.129.103:7003: OK

Connecting to node 192.168.129.107:9000: OK

Connecting to node 192.168.129.107:9001: OK

>>> Performing hash slots allocation on 6 nodes...

集群创建完成，check一下看看：

\[root@localhost src\]\# ./redis-trib.rb check 192.168.129.103:7000

Connecting to node 192.168.129.103:7000: OK

Connecting to node 192.168.129.103:7003: OK

Connecting to node 192.168.129.103:7001: OK

Connecting to node 192.168.129.107:9000: OK

Connecting to node 192.168.129.103:7002: OK

Connecting to node 192.168.129.107:9001: OK

>>> Performing Cluster Check (using node 192.168.129.103:7000)

M: 5f0adb50d0dd1aa69d34ec66b09413d984d124a1 192.168.129.103:7000

slots:5461-10922 (5462 slots) master

1 additional replica(s)

S: 4326d921c90559c9b26d84c19b151b8be43ee711 192.168.129.103:7003

slots: (0 slots) slave

replicates 25e7505b6647bc56781a6f8cf9addcae196d000c

S: b17b58c85c2a70ab781f35edc900d3031c7623b1 192.168.129.103:7001

slots: (0 slots) slave

replicates cc319d119402df317df41bc60b38cd8bb80e78bf

M: cc319d119402df317df41bc60b38cd8bb80e78bf 192.168.129.107:9000

slots:0-5460 (5461 slots) master

1 additional replica(s)

S: 966450aef1072b222b876c046f9a78ab7837fcd8 192.168.129.103:7002

slots: (0 slots) slave

replicates 5f0adb50d0dd1aa69d34ec66b09413d984d124a1

M: 25e7505b6647bc56781a6f8cf9addcae196d000c 192.168.129.107:9001

slots:10923-16383 (5461 slots) master

1 additional replica(s)

\[OK\] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

\[OK\] All 16384 slots covered.

\[root@localhost src\]\#

没问题，再客户端连接上去操作下，连接集群需要加-c参数

\[root@localhost src\]\# redis-cli -c -p 7000

127.0.0.1:7000> set key v

\-> Redirected to slot \[12539\] located at 192.168.129.107:9001

192.168.129.107:9001> set key5 v5

\-> Redirected to slot \[9057\] located at 192.168.129.103:7000

192.168.129.103:7000>

如果想修改集群，可以使用add-node,迁移数据槽使用reshard，暂不详细描述了。

参考资料：

1.百度文库里的《redis3.0.2 分布式集群安装详细步骤》

2.centos 安装 redis3.0.0 集群

http://blog.csdn.net/lifeiaidajia/article/details/45370377

3.ruby升级不堪回首的往事

http://www.tuicool.com/articles/yauaM3

4.安装 ruby gems

http://storysky.blog.51cto.com/628458/1155353/

5.[/docs/manual/scaling/][docs_manual_scaling]

\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_\_

可能遇到的问题

*  gcc未安装
    
     *  把网络搞定了，然后 在终端里yum install gcc\*就自动安装了
     *  下载离线安装文件进行安装
     *  如果在内网则可以将安装好的系统做成镜像，然后离线yum
 *  默认编译器不是gcc
    
     *  修改默认编译器为gcc
     *  查看默认编译器
        
         *  echo $CC
 *  zmalloc.h:51:31: error: jemalloc/jemalloc.h: No such file or directory
    
     *  安装失败的残留文件
     *  make distclean。清理一下，然后再make。
 *  异常
    
     *  zmalloc.h:50:31: 致命错误：jemalloc/jemalloc.h：没有那个文件或目录
        
         *  make MALLOC=libc
     *  server.c:5170:31: error: ‘struct redisServer’
        
         *  安装gcc套装
            
             *  yum install cpp
             *  yum install binutils
             *  yum install glibc
             *  yum install glibc-kernheaders
             *  yum install glibc-common
             *  yum install glibc-devel
             *  yum install gcc
             *  yum install make
         *  升级gcc
            
             *  yum -y install centos-release-scl
             *  yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils
             *  scl enable devtoolset-9 bash

*  建立集群时Waiting for the cluster to join一直等待解决办法:  
    要将所有集群中的redis.conf中的bind由 bind 127.0.0.1 修改为 bind 192.168.8.16 或者bind 192.168.8.16 127.0.0.1, 各节点连上去flushall然后删除各个节点的redis的rdb文件和nodes.conf文件,重启redis节点重新用redis-trib.rb创建集群。

[https_download.csdn.net_download_shy_snow_85152933]: https://download.csdn.net/download/shy_snow/85152933
[redis5_shy_snow_-CSDN_redis]: https://blog.csdn.net/shy_snow/article/details/124580764
[docs_manual_scaling]: https://redis.io/topics/cluster-tutorial