Zookeeper-集群安装以及集群操作

小鱼儿 2022-09-08 13:00 319阅读 0赞

# Zookeeper 集群操作 #

## 集群操作 ##

### 集群安装 ###

1)集群规划

在 hadoop113、hadoop114 和 hadoop115 三个节点上都部署 Zookeeper。

2)解压安装步骤与本地模式一样，多的操作有：

(1) 在/opt/module/zookeeper-3.5.7/zkData 目录下创建一个 myid 的文件
    vim myid
    在文件中添加与 server 对应的编号(注意:上下不要有空行,左右不要有空格)
    3
    注意:添加 myid 文件,一定要在 Linux 里面创建
    
    (2) 修改zoo.cfg文件，增加如下配置
    #######################cluster##########################
    server.3=hadoop113:2888:3888
    server.4=hadoop114:2888:3888
    server.5=hadoop115:2888:3888
    
    (3) 拷贝配置好的 zookeeper 到其他机器上
    [atguigu@hadoop102 module ]$ xsync zookeeper-3.5.7
    并分别在 hadoop103、hadoop104 上修改 myid 文件中内容为 4、5

配置参数解读

server.A=B:C:D。

A 是一个数字,表示这个是第几号服务器;

集群模式下配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面有一个数据就是 A 的值,Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比较从而判断到底是哪个 server。

B 是这个服务器的地址;

C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口;

D 是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。

集群操作

(1)分别启动 Zookeeper(113,114,115)
    bin/zkServer.sh start
    
    (2)查看状态
    [bd@hadoop113 zookeeper-3.5.7]$ bin/zkServer.sh  status
    ZooKeeper JMX enabled by default
    Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
    Client port found: 2181. Client address: localhost.
    Mode: follower
    
    [bd@hadoop114 zookeeper-3.5.7]$ bin/zkServer.sh  status
    ZooKeeper JMX enabled by default
    Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
    Client port found: 2181. Client address: localhost.
    Mode: leader
    
    [bd@hadoop115 zookeeper-3.5.7]$ bin/zkServer.sh  status
    ZooKeeper JMX enabled by default
    Using config: /opt/module/zookeeper-3.5.7/bin/../conf/zoo.cfg
    Client port found: 2181. Client address: localhost.
    Mode: follower

### 选举机制 ###

第一次启动选举  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_23_color_FFFFFF_t_70_g_se_x_16]

非第一次启动选举

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_22_color_FFFFFF_t_70_g_se_x_16]

### ZK 集群启动停止脚本 ###

1)在 hadoop113 的/home/atguigu/bin 目录下创建脚本，内容如下：

#!/bin/bash
    case $1 in
    "start"){
        for i in hadoop113 hadoop114 hadoop115
        do
            echo ---------- zookeeper $i 启动 ------------
            ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
        done
    };;
    "stop"){
        for i in hadoop113 hadoop114 hadoop115
        do
            echo ---------- zookeeper $i 停止 ------------
            ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
        done
    };;
    "status"){
        for i in hadoop113 hadoop114 hadoop115
        do
            echo ---------- zookeeper $i 状态 ------------
            ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
        done
    };;
    esac

2)增加脚本执行权限

1.  脚本操作

zk.sh start
    zk.sh stop
    zk.sh status

## 客户端命令行操作 ##

### 命令行语法 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_23_color_FFFFFF_t_70_g_se_x_16 1]

1)启动客户端
    bin/zkCli.sh -server hadoop113:2181
    
    2)显示所有操作命令
    [zk: hadoop113:2181(CONNECTED) 1] help

### znode 节点数据信息 ###

1)查看当前znode中所包含的内容
    ls /
    [zookeeper]
    
    2)查看当前节点详细数据
    ls -s /
    [zookeeper]cZxid = 0x0
    ctime = Thu Jan 01 08:00:00 CST 1970
    mZxid = 0x0
    mtime = Thu Jan 01 08:00:00 CST 1970
    pZxid = 0x0
    cversion = -1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 0
    numChildren = 1

**(1)czxid:创建节点的事务 zxid**

每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid,如果 zxid1 小于 zxid2,那么 zxid1 在 zxid2 之  
前发生。

(2)ctime:znode 被创建的毫秒数(从 1970 年开始)

(3)mzxid:znode 最后更新的事务 zxid

(4)mtime:znode 最后修改的毫秒数(从 1970 年开始)

(5)pZxid:znode 最后更新的子节点 zxid

(6)cversion:znode 子节点变化号,znode 子节点修改次数

**(7)dataversion:znode 数据变化号**

(8)aclVersion:znode 访问控制列表的变化号

(9)ephemeralOwner:如果是临时节点,这个是 znode 拥有者的 session id。如果不是临时节点则是 0。

**(10)dataLength:znode 的数据长度**

**(11)numChildren:znode 子节点数量**

### 节点类型(持久/短暂/有序号/无序号) ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_23_color_FFFFFF_t_70_g_se_x_16 2]

1)分别创建2个普通节点(永久节点 + 不带序号),注意:创建节点时,要赋值
    [zk: hadoop113:2181(CONNECTED) 3] create /sanguo "diaochan"
    Created /sanguo
    [zk: hadoop113:2181(CONNECTED) 4] create /sanguo/shuguo "liubei"
    Created /sanguo/shuguo
    [zk: hadoop113:2181(CONNECTED) 6] ls /
    [sanguo, zookeeper]
    [zk: hadoop113:2181(CONNECTED) 7] ls /sanguo
    [shuguo]
    
    2)获得节点的值
    [zk: hadoop113:2181(CONNECTED) 10] get -s /sanguo
    diaochan
    cZxid = 0x300000002
    ctime = Thu Aug 26 10:58:36 CST 2021
    mZxid = 0x300000002
    mtime = Thu Aug 26 10:58:36 CST 2021
    pZxid = 0x300000003
    cversion = 1
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 8
    numChildren = 1
    
    [zk: hadoop113:2181(CONNECTED) 11] get -s /sanguo/shuguo
    liubei
    cZxid = 0x300000003
    ctime = Thu Aug 26 10:58:41 CST 2021
    mZxid = 0x300000003
    mtime = Thu Aug 26 10:58:41 CST 2021
    pZxid = 0x300000003
    cversion = 0
    dataVersion = 0
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 6
    numChildren = 0
    
    3)创建带序号的节点(永久节点 + 带序号)
    [zk: hadoop113:2181(CONNECTED) 12] create /sanguo/weiguo "caocao"
    Created /sanguo/weiguo
    [zk: hadoop113:2181(CONNECTED) 14] create -s /sanguo/weiguo/zhangliao "zhangliao"
    Created /sanguo/weiguo/zhangliao0000000000
    [zk: hadoop113:2181(CONNECTED) 15] create -s /sanguo/weiguo/zhangliao "zhangliao"
    Created /sanguo/weiguo/zhangliao0000000001
    [zk: hadoop113:2181(CONNECTED) 16] create -s /sanguo/weiguo/xuchu "xuchu"
    Created /sanguo/weiguo/xuchu0000000002
    [zk: hadoop113:2181(CONNECTED) 17] create -s /sanguo/weiguo/dianwei "dianwei"
    Created /sanguo/weiguo/dianwei0000000003
    
    如果原来没有序号节点,序号从 0 开始依次递增。如果原节点下已有 2 个节点,则再排序时从 2 开始,以此类推。
    
    ## 退出再重新回来之后各个节点没有被删除
    
    4)创建短暂节点(短暂节点 + 不带序号 or 带序号)
    [zk: hadoop113:2181(CONNECTED) 18] create -e /sanguo/wuguo "zhouyu"
    Created /sanguo/wuguo
    [zk: hadoop113:2181(CONNECTED) 19] create -e -s /sanguo/wuguo "sunquan"
    Created /sanguo/wuguo0000000003
    [zk: hadoop113:2181(CONNECTED) 21] ls /sanguo
    [shuguo, weiguo, wuguo, wuguo0000000003]
    
    ## 退出再重新回来之后wuguo节点被删除了
    
    5)修改节点数据值
    [zk: hadoop113:2181(CONNECTED) 2] set /sanguo/weiguo "simayi"
    [zk: hadoop113:2181(CONNECTED) 3] get /sanguo/weiguo
    simayi
    [zk: hadoop113:2181(CONNECTED) 4] get -s /sanguo/weiguo
    simayi
    cZxid = 0x300000004
    ctime = Thu Aug 26 11:00:30 CST 2021
    mZxid = 0x30000000f
    mtime = Thu Aug 26 11:07:13 CST 2021
    pZxid = 0x300000009
    cversion = 4
    dataVersion = 1
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 6
    numChildren = 4

### 监听器原理 ###

客户端注册监听它关心的目录节点,当目录节点发生变化(数据改变、节点删除、子目录节点增加删除)时,ZooKeeper 会通知客户端。监听机制保证 ZooKeeper 保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_22_color_FFFFFF_t_70_g_se_x_16 1]

1)节点的值变化监听

(1)在 hadoop114 主机上注册监听/sanguo 节点数据变化
    [zk: hadoop113:2181(CONNECTED) 1] get -w /sanguo
    diaochan
    
    (2)在 hadoop113 主机上修改/sanguo 节点的数据
    [zk: hadoop113:2181(CONNECTED) 1] set /sanguo "xisi"
    
    (3)观察 hadoop114 主机收到数据变化的监听
    [zk: hadoop113:2181(CONNECTED) 2] 
    WATCHER::
    
    WatchedEvent state:SyncConnected type:NodeDataChanged path:/sanguo
    
    注意:在hadoop113再多次修改/sanguo的值,hadoop114上不会再收到监听。因为注册一次,只能监听一次。想再次监听,需要再次注册。

2)节点的子节点变化监听(路径变化)

(1)在 hadoop114 主机上注册监听/sanguo 节点的子节点变化
    [zk: hadoop113:2181(CONNECTED) 0] ls -w /sanguo
    [shuguo, weiguo]
    
    (2)在 hadoop113 主机/sanguo 节点上创建子节点
    create /sanguo/jin "simayi"
    
    (3)观察 hadoop104 主机收到子节点变化的监听
    [zk: hadoop113:2181(CONNECTED) 1] 
    WATCHER::
    
    WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/sanguo

### 节点删除与查看 ###

[zk: localhost:2181(CONNECTED) 3] ls /sanguo
    [jin, shuguo, weiguo]
    
    1)删除节点
    [zk: localhost:2181(CONNECTED) 4] delete /sanguo/jin
    
    2)递归删除节点
    [zk: localhost:2181(CONNECTED) 5] deleteall /sanguo/shuguo
    
    [zk: localhost:2181(CONNECTED) 6] ls /sanguo
    [weiguo]
    
    3)查看节点状态
    [zk: localhost:2181(CONNECTED) 7] stat /sanguo
    cZxid = 0x300000002
    ctime = Thu Aug 26 10:58:36 CST 2021
    mZxid = 0x30000001a
    mtime = Thu Aug 26 11:14:03 CST 2021
    pZxid = 0x900000009
    cversion = 11
    dataVersion = 5
    aclVersion = 0
    ephemeralOwner = 0x0
    dataLength = 8
    numChildren = 1

## 客户端 API 操作 ##

前提:保证 hadoop113、hadoop114、hadoop115 服务器上 Zookeeper 集群服务端启动。

### IDEA 环境搭建 ###

1)创建一个工程:zookeeper

2)添加pom文件

<dependencies>
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>RELEASE</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.8.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.zookeeper</groupId>
            <artifactId>zookeeper</artifactId>
            <version>3.5.7</version>
        </dependency>
    </dependencies>

3)创建log4j.properties文件到项目根目录

需要在项目的 src/main/resources 目录下,新建一个文件,命名为“log4j.properties”,在文件中填入

log4j.rootLogger=INFO, stdout
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
    log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
    log4j.appender.logfile=org.apache.log4j.FileAppender
    log4j.appender.logfile.File=target/spring.log
    log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
    log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

代码如下：

public class ZkClient { 
    
        // 注意逗号左右不能有空格
        private String connectString = "hadoop113:2181,hadoop114:2181,hadoop115:2181";
        private int sessionTimeout = 2000;
        ZooKeeper zkClient;
    
    
        @Before
        public void init() throws IOException { 
    
            zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() { 
                public void process(WatchedEvent watchedEvent) 
                    
                    
                    // 以下代码和获取子节点并监听节点变化是一起的
    				System.out.println("--------------------------");
    
                    try { 
                        List<String> children = zkClient.getChildren("/", true);
    
                        for (String child : children) { 
                            System.out.println(child);
                        }
                    } catch (KeeperException e) { 
                        e.printStackTrace();
                    } catch (InterruptedException interruptedException) { 
                        interruptedException.printStackTrace();
                    }
                    // 以上代码和获取子节点并监听节点变化是一起的
                }
            });
        }
    
    
        // 创建子节点
        @Test
        public void create() throws KeeperException, InterruptedException { 
    
            zkClient.create("/donghan", "lvbu".getBytes(), ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        }
        
        // 结果如下：
        // [zk: localhost:2181(CONNECTED) 0] ls /
        // [donghan, sanguo, zookeeper]
        
        // 获取子节点并监听节点变化
        @Test
        public void getChildren() throws Exception { 
            List<String> children = zkClient.getChildren("/", true);
            for (String child : children) { 
                System.out.println(child);
            }
            // 延时阻塞
            Thread.sleep(Long.MAX_VALUE);
        }
        // ----------------------------------------------
        // zookeeper
        // sanguo
        // donghan
        // zookeeper
        // sanguo
        // donghan
        // ----------------------------------------------
        // xihan
        // zookeeper
        // sanguo
        // donghan
        
        // 判断 znode 是否存在
        @Test
        public void exist() throws Exception { 
    
            Stat stat1 = zkClient.exists("/qin", false);
            System.out.println(stat1 == null ? "not exist" : "exist"); // not exist
    
            Stat stat2 = zkClient.exists("/xihan", false);
            System.out.println(stat2 == null ? "not exist" : "exist"); // exist
        }
    }

## 客户端向服务端写数据流程 ##

**写数据请求直接发送给Leader节点**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_18_color_FFFFFF_t_70_g_se_x_16]

Leader自己先写，写完让Follower去写。

只要有半数的节点写完了数据，就认为本次写数据成功了，此时Leader就可也以相应写请求了，剩余的节点继续完成数据的同步。

写数据请求发送给Follower节点

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_23_color_FFFFFF_t_70_g_se_x_16 3]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_23_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/4e9fa6fb59374ed4be430ba77fc82625.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_22_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/a8813286369b453fa1514b2e609bb5b6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_23_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/c8b22024fca442c1817e8a389df3d59f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_23_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220829/54b28b27aafa44f7b3da5b373820c541.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_22_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/1d3b328f20204446b5b0a87ddaca291b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_18_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/cffb18b5eaee49f3887fe51905290f05.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6a2U56ybTG92ZQ_size_23_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220829/45e928352be54fdfa9705aac58729d8b.png