在K8S上部署Redis 集群

女爷i 2021-12-10 05:21 453阅读 0赞

1.准备操作  
本次部署主要基于该项目：https://github.com/zuxqoj/kubernetes-redis-cluster  
wget https://github.com/zuxqoj/kubernetes-redis-cluster/archive/master.zip  
unzip master.zip  
其包含了两种部署Redis集群的方式：

StatefulSet  
Service&Deployment

两种方式各有优劣，对于像Redis、Mongodb、Zookeeper等有状态的服务，使用StatefulSet是首选方式。本文将主要介绍如何使用StatefulSet进行Redis集群的部署。

2.部署过程  
基于StatefulSet的Redis创建步骤：

(1).创建NFS存储  
(2).创建PV  
(3)创建PVC  
(4)创建Configmap  
(5)创建headless服务  
(6)创建Redis StatefulSet  
(7)初始化Redis集群

3.安装步骤  
(1)安装NFS  由于硬件资源有限，我们可以在node1上搭建。执行如下命令安装NFS和rpcbind：  
yum -y install nfs-utils rpcbind   
其中，NFS依靠远程过程调用(RPC)在客户端和服务器端路由请求，因此需要安装rpcbind服务。  
然后，新增/etc/exports文件，用于设置需要共享的路径：  
/usr/local/k8s/redis/pv1 \*(rw,all\_squash)  
/usr/local/k8s/redis/pv2 \*(rw,all\_squash)  
/usr/local/k8s/redis/pv3 \*(rw,all\_squash)  
/usr/local/k8s/redis/pv4 \*(rw,all\_squash)  
/usr/local/k8s/redis/pv5 \*(rw,all\_squash)  
/usr/local/k8s/redis/pv6 \*(rw,all\_squash)

在node1上创建这些目录  
mkdir -p /usr/local/k8s/redis/pv1  
mkdir -p /usr/local/k8s/redis/pv2  
mkdir -p /usr/local/k8s/redis/pv3  
mkdir -p /usr/local/k8s/redis/pv4  
mkdir -p /usr/local/k8s/redis/pv5  
mkdir -p /usr/local/k8s/redis/pv6  
然后授权  
chmod 777 /usr/local/k8s/redis/pv\*  
启动  
systemctl start rpcbind  
systemctl start nfs  
启动后然后在其他节点测试一下，其他节点都要安装 yum -y install nfs-utils  
mount -t nfs 172.20.0.23:/usr/local/k8s/redis/pv1 /mnt  
(2)创建pv  
每一个Redis Pod都需要一个独立的PV来存储自己的数据，因此可以创建一个pv.yaml文件，包含6个PV：  
在 master节点执行如下：  
vi pv.yaml

apiVersion: v1  
kind: PersistentVolume  
metadata:  
  name: nfs-pv1  
spec:  
  capacity:  
    storage: 200M  
  accessModes:  
    - ReadWriteMany  
  nfs:  
    server: 172.20.0.23  
    path: "/usr/local/k8s/redis/pv1"

\---  
apiVersion: v1  
kind: PersistentVolume  
metadata:  
  name: nfs-vp2  
spec:  
  capacity:  
    storage: 200M  
  accessModes:  
    - ReadWriteMany  
  nfs:  
    server: 172.20.0.23  
    path: "/usr/local/k8s/redis/pv2"

\---  
apiVersion: v1  
kind: PersistentVolume  
metadata:  
  name: nfs-pv3  
spec:  
  capacity:  
    storage: 200M  
  accessModes:  
    - ReadWriteMany  
  nfs:  
    server: 172.20.0.23  
    path: "/usr/local/k8s/redis/pv3"

\---  
apiVersion: v1  
kind: PersistentVolume  
metadata:  
  name: nfs-pv4  
spec:  
  capacity:  
    storage: 200M  
  accessModes:  
    - ReadWriteMany  
  nfs:  
    server: 172.20.0.23  
    path: "/usr/local/k8s/redis/pv4"

\---  
apiVersion: v1  
kind: PersistentVolume  
metadata:  
  name: nfs-pv5  
spec:  
  capacity:  
    storage: 200M  
  accessModes:  
    - ReadWriteMany  
  nfs:  
    server: 172.20.0.23  
    path: "/usr/local/k8s/redis/pv5"

\---  
apiVersion: v1  
kind: PersistentVolume  
metadata:  
  name: nfs-pv6  
spec:  
  capacity:  
    storage: 200M  
  accessModes:  
    - ReadWriteMany  
  nfs:  
    server: 172.20.0.23  
    path: "/usr/local/k8s/redis/pv6"  
执行：kubectl create -f pv.yaml

(3)创建Configmap  
kubectl create configmap redis-conf --from-file=./kubernetes-redis-cluster-master/redis.conf   
查看命令：kubectl describe cm redis-conf  
(4)创建Headless service  
Headless service是StatefulSet实现稳定网络标识的基础，我们需要提前创建  
kubectl create -f  kubernetes-redis-cluster-master/statefulset-services/redis-headless.yaml   
查看命令： kubectl get svc redis-service  
可以看到，服务名称为redis-service，其CLUSTER-IP为None，表示这是一个“无头”服务。

(4)创建Redis 集群节点  
创建好Headless service后，就可以利用StatefulSet创建Redis 集群节点，这也是本文的核心内容。我们先创建redis.yml文件：  
apiVersion: apps/v1beta1  
kind: StatefulSet  
metadata:  
  name: redis-app  
spec:  
  serviceName: "redis-service"  
  replicas: 6  
  template:  
    metadata:  
      labels:  
        app: redis  
        appCluster: redis-cluster  
    spec:  
      terminationGracePeriodSeconds: 20  
      affinity:  
        podAntiAffinity:  
          preferredDuringSchedulingIgnoredDuringExecution:  
          - weight: 100  
            podAffinityTerm:  
              labelSelector:  
                matchExpressions:  
                - key: app  
                  operator: In  
                  values:  
                  - redis  
              topologyKey: kubernetes.io/hostname  
      containers:  
      - name: redis  
        image: "redis"  
        command:  
          - "redis-server"  
        args:  
          - "/etc/redis/redis.conf"  
          - "--protected-mode"  
          - "no"  
        resources:  
          requests:  
            cpu: "100m"  
            memory: "100Mi"  
        ports:  
            - name: redis  
              containerPort: 6379  
              protocol: "TCP"  
            - name: cluster  
              containerPort: 16379  
              protocol: "TCP"  
        volumeMounts:  
          - name: "redis-conf"  
            mountPath: "/etc/redis"  
          - name: "redis-data"  
            mountPath: "/var/lib/redis"  
      volumes:  
      - name: "redis-conf"  
        configMap:  
          name: "redis-conf"  
          items:  
            - key: "redis.conf"  
              path: "redis.conf"  
  volumeClaimTemplates:  
  - metadata:  
      name: redis-data  
    spec:  
      accessModes: \[ "ReadWriteMany" \]  
      resources:  
        requests:  
          storage: 200M  
执行: kubectl  create  -f redis.yaml   
如上，总共创建了6个Redis节点(Pod)，其中3个将用于master，另外3个分别作为master的slave；Redis的配置通过volume将之前生成的redis-conf这个Configmap，挂载到了容器的/etc/redis/redis.conf；Redis的数据存储路径使用volumeClaimTemplates声明（也就是PVC），其会绑定到我们先前创建的PV上。  
根据StatefulSet的规则，我们生成的Redis的6个Pod的hostname会被依次命名为$(statefulset名称)-$(序号),注意，直到redis-app-0状态启动后达到Running状态之后，redis-app-1 才开始启动。  
最后查看创建的pv是否被绑定  
kubectl get pv

(5)初始化Redis集群  
创建好6个Redis Pod后，我们还需要利用常用的Redis-tribe工具进行集群的初始化.  
我们专门启动一个Ubuntu的容器，可以在该容器中安装Redis-tribe，进而初始化Redis集群，  
执行：kubectl run -it ubuntu --image=ubuntu --restart=Never /bin/bash  
然后在Ubuntu的容器 操作  
cat > /etc/apt/sources.list << EOF  
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse  
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse  
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse  
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse  
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-proposed main restricted universe multiverse

deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse  
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse  
> EOF

然后安装一些软件  
apt-get update  
apt-get install -y vim wget python2.7 python-pip redis-tools dnsutils  
然后安装redis-trib  
pip install redis-trib==0.5.1  
创建只有master节点的集群  
redis-trib.py create \\  
  \`dig +short redis-app-0.redis-service.default.svc.cluster.local\`:6379 \\  
  \`dig +short redis-app-1.redis-service.default.svc.cluster.local\`:6379 \\  
  \`dig +short redis-app-2.redis-service.default.svc.cluster.local\`:6379

其次为每个master添加slave  
redis-trib.py replicate \\  
  --master-addr \`dig +short redis-app-0.redis-service.default.svc.cluster.local\`:6379 \\  
  --slave-addr \`dig +short redis-app-3.redis-service.default.svc.cluster.local\`:6379

redis-trib.py replicate \\  
  --master-addr \`dig +short redis-app-1.redis-service.default.svc.cluster.local\`:6379 \\  
  --slave-addr \`dig +short redis-app-4.redis-service.default.svc.cluster.local\`:6379

redis-trib.py replicate \\  
  --master-addr \`dig +short redis-app-2.redis-service.default.svc.cluster.local\`:6379 \\  
  --slave-addr \`dig +short redis-app-5.redis-service.default.svc.cluster.local\`:6379  
至此，我们的Redis集群就真正创建完毕了，连到任意一个Redis Pod中检验一下：  
进入pod查看  
kubectl exec -it redis-app-2 /bin/bash  
然后进入redis   
/usr/local/bin/redis-cli -c  
执行cluster nodes 和cluster info 查看信息  
另外，还可以在NFS上查看Redis挂载的数据

(6)创建用于访问Service  
前面我们创建了用于实现StatefulSet的Headless Service，但该Service没有Cluster Ip，因此不能用于外界访问。所以，我们还需要创建一个Service，专用于为Redis集群提供访问和负载均衡：  
kubectl create -f kubernetes-redis-cluster-master/statefulset-services/redis-access.yaml   
或使用下面的文件  
vi redis-access.yaml  
apiVersion: v1  
kind: Service  
metadata:  
  name: redis-access-service  
  labels:  
    app: redis  
spec:  
  ports:  
  - name: redis-port  
    protocol: "TCP"  
    port: 6379  
    targetPort: 6379  
  selector:  
    app: redis  
    appCluster: redis-cluster  
如上，该Service名称为 redis-access-service，在K8S集群中暴露6379端口，并且会对labels name为app: redis或appCluster: redis-cluster的pod进行负载均衡。  
创建后查看：  
kubectl get svc redis-access-service -o wide  
如上，在K8S集群中，所有应用都可以通过10.97.0.214:6379来访问Redis集群。当然，为了方便测试，我们也可以为Service添加一个NodePort映射到物理机上，这里不再详细介绍。  
(7)测试主从切换  
进入redis-app-0查看：  
kubectl exec -it redis-app-0 /bin/bash  
然后执行：/usr/local/bin/redis-cli -c  
输入：role  
查看到app-0为master，slave为10.244.3.69  即redis-app-3

![20190715161724637.png][]

接着，我们手动删除redis-app-0：  
kubectl delete pod redis-app-0  
我们再进入redis-app-0内部查看：  
kubectl exec -it redis-app-0 /bin/bash  
然后执行：/usr/local/bin/redis-cli -c  
输入：role  
redis-app-0变成了slave，从属于它之前的从节点10.244.3.69即redis-app-3。

![20190715161947539.png][]

[20190715161724637.png]: /images/20211209/1e4e6429f2f947d9ad297f11494dd737.png
[20190715161947539.png]: /images/20211209/5a8275f1025a480d8396d2fd48b46468.png