JavaEE进阶——ZooKeeper和Curator

淡淡的烟草味﹌ 2022-01-30 05:35 268阅读 0赞

## I. 简介 ##

ZooKeeper是一个分布式的，提供分布式应用程序**协调服务**的一个项目。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

### 工作机制 ###

ZooKeeper从设计模式角度理解：是基于观察者模式的分布式服务管理框架，它负责存储和管理所有节点都关心的数据，然后接受观察者的注册，一旦这些数据发生变化，ZooKeeper就会通知已经注册了的观察者，观察者可以相应的做出反应。

ZooKeeper=文件系统+通知机制

所以大多数利用ZooKeeper实现的相关功能，都是基于其存储数据的机制加上数据监听的机制。比如利用ZooKeeper给集群中机器进行编号，服务器的动态上下线，分布式锁等等。

### 特点 ###

**ZooKeeper集群中包含四种角色：**

1.  Leader：Leader负责进行投票的发起和决议，既能读也能写。
2.  Follower：Follower用于接收客户端请求并向客户端返回结果，只能提供读服务，写请求需转发给Leader节点；同时在选主过程中**参与投票**。
3.  Observer：Observer**不参与投票**过程，也不参与写操作的“过半写成功”策略，只同步Leader的状态。Observer的目的是为了扩展系统，提高读取速度。
4.  Client：客户端，连接ZooKeeper服务器，请求发起方。

如下是一个ZooKeeper集群示意图，共有7个服务器，其中1个Leader，4个Follower，2个Observer。

![ZooKeeper集群][ZooKeeper]

**集群有如下特点：**

1.  ZooKeeper集群中只有**一个Leader**，其他的均为Learner，包括Follower和Observer；
2.  **集群中只要有半数以上的节点存活，ZooKeeper就可以正常服务**。半数以上特性使得往往集群节点个数为奇数；
3.  **全局数据一致**。每个Server保存一份相同的数据副本，Client无论连接到哪个Server，数据都是一致的；
4.  **更新请求顺序执行**。来自同一个Client的更新请求按其发送次序顺序执行；
5.  **数据更新原子性**。一次数据更新要么成功，要么失败，事务特点。
6.  实时性。在一定时间范围内，客户端能够读到最新数据，因为数据量小，同步快。

### 数据结构 ###

ZooKeeper的数据模型的结构与Unix文件系统很类似，整体上可以看做是一棵树，每个节点可以称作一个ZNode，每一个ZNode默认可以存储1MB的数据，每个ZNode都可以通过其路径唯一标识。

![ZooKeeper的数据结构][ZooKeeper 1]

### 应用场景 ###

**统一命名服务**

分布式应用中，通常需要有一套完整的命名规则，既能够产生唯一的名称又便于人识别和记住。例如：www.baidu.com域名对应的服务器ip地址有很多，域名很容易被识记，ip则很难。那么可以在ZooKeeper服务器上创建一个www.baidu,com的节点，该节点下可以创建所有ip地址名称的子节点，这样就可以统一命名，根据域名得到所有ip。

**统一配置管理**

分布式环境下，配置文件的同步往往非常常见。一般情况下，对配置文件的修改希望对集群中的每一个节点都生效。所以可以将配置文件上传到ZooKeeper的一个节点中，所有的节点去监听该节点内容变化，当节点内容变化说明配置文件更新，每个节点读取新的配置文件并更新状态。

**统一集群管理**

分布式环境中，实时掌握每个节点状态是必要的，这样可以根据节点的状态变化做出应对策略。ZooKeeper可以实现实时监控节点状态变化，节点可将自身信息写入ZooKeeper的某个节点下，监听这个节点就可以实现对节点信息的监控，获取实时状态变化。

**服务器动态上下线**

分布式环境中，服务器往往是动态增减的。对于服务的调用方来说，动态的获悉服务器的上下线显得十分必要。服务器上线时在ZooKeeper的某个节点下写入临时节点数据，调用方则监听该节点下的数据变化，每当有服务器上下线，调用方就会得知并获取最新的所有服务器列表。

**软负载均衡**

在ZooKeeper中可以记录每台服务器的访问次数，让访问次数最少的机器去处理客户端的请求。

## II. 下载安装 ##

下载地址：[https://zookeeper.apache.org/releases.html\#download][https_zookeeper.apache.org_releases.html_download]

Docker镜像地址：[https://hub.docker.com/\_/zookeeper/][https_hub.docker.com_zookeeper]

安装过程：参考[zookeeper安装教程（zookeeper3.4.5为例）][zookeeper_zookeeper3.4.5]

**配置文件zoo.cfg参数含义：**

<table> 
 <thead> 
  <tr> 
   <th align="left">参数</th> 
   <th align="left">含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">tickTime</td> 
   <td align="left">心跳间隔，单位是毫秒，系统默认是2000毫秒，也就是间隔两秒心跳一次。 客户端与服务器或者服务器与服务器之间维持心跳，也就是每个tickTime时间就会发送一次心跳。</td> 
  </tr> 
  <tr> 
   <td align="left">initLimit</td> 
   <td align="left">Follower与Leader之间初始连接时能容忍的最多心跳数，默认情况下FL的会话时长是2·tickTime</td> 
  </tr> 
  <tr> 
   <td align="left">syncLimit</td> 
   <td align="left">Leader发送心跳包给Follower开始到收到Follower响应这段时间最多能容忍的心跳数</td> 
  </tr> 
  <tr> 
   <td align="left">dataDir</td> 
   <td align="left">该目录用来存放myid信息， 事务日志存储路径等</td> 
  </tr> 
  <tr> 
   <td align="left">clientPort</td> 
   <td align="left">客户端和服务端连接的端口</td> 
  </tr> 
  <tr> 
   <td align="left">server.A=B:C:D</td> 
   <td align="left">A是指myid，B是指该节点的ip地址或者主机名称，C是指集群中所有节点和Leader交换信息的端口，D是选举时服务器相互通信的端口</td> 
  </tr> 
 </tbody> 
</table>

如果想要指定的节点是Observer节点，在zoo.cfg下额外配置：

peerType=observer
    server.A=B:C:D:observer

## III. 内部原理 ##

### 选举机制 ###

**选举特点**

1.  半数机制：集群中超过半数以上的机器存活，集群即可用。
2.  ZooKeeper虽然没有指定Leader和Follower，但是ZooKeeper工作时，只有一个节点是Leader，其他则是Follower和Observer，Leader是通过内部选举机制产生的。

**选举过程**

*  [面试必备：Zookeeper选举算法原理][Zookeeper]
 *  [Zookeeper源码分析-Zookeeper Leader选举算法][Zookeeper_-Zookeeper Leader]

### 节点类型 ###

<table> 
 <thead> 
  <tr> 
   <th align="left">节点类型</th> 
   <th align="left">含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">PERSISTENT</td> 
   <td align="left">持久化节点</td> 
  </tr> 
  <tr> 
   <td align="left">PERSISTENT_SEQUENTIAL</td> 
   <td align="left">顺序自动编号持久化节点，这种节点会根据当前已存在的节点数自动加1</td> 
  </tr> 
  <tr> 
   <td align="left">EPHEMERAL</td> 
   <td align="left">临时节点， 客户端Session超时这类节点就会被自动删除</td> 
  </tr> 
  <tr> 
   <td align="left">EPHEMERAL_SEQUENTIAL</td> 
   <td align="left">临时自动编号节点</td> 
  </tr> 
 </tbody> 
</table>

### Stat结构体 ###

Stat: 各种元数据，比如事务ID、版本号、时间戳、大小等

*  czxid - 创建该节点的事务 zxid（每次修改ZooKeeper状态会收到一个zxid形式的时间戳，代表事务ID）
 *  ctime - znode 被创建的毫秒数（从1970年开始）
 *  mzxid - znode 最后更新的事务 zxid
 *  mtime - znode 最后修改的毫秒数
 *  pZxid - znode 最后更新的子节点 zxid
 *  cversion - znode 子节点变化号，znode 子节点修改次数
 *  dataversion - znode 数据变化号
 *  aclVersion - znode 访问控制列表的变化号
 *  ephemeralOwner - 如果是临时节点，这个是znode拥有者的session id。如果不是临时节点则是0
 *  dataLength - znode 的数据长度
 *  numChildren - znode 子节点数量

### 监听器原理 ###

**监听器原理详解**

1.  在Zookeeper的API操作中，客户端的main方法会创建一个主线程；
2.  在主线程中创建Zookeeper客户端 (zkClient)，这时会创建两个线程：
    
     *  connet线程负责网络通信连接，连接服务器；
     *  Listener线程负责监听；
3.  客户端通过connet线程连接服务器，将监听事件注册到ZooKeeper中（图中getChildren("/" , true) ，" / "表示监听的是根目录，true表示监听，不监听用false）；
4.  在Zookeeper的注册监听列表中将需要注册的监听事件添加到列表中，图中/path表示哪个目录被客户端监听了；
5.  一旦被监听的目录下，数据或路径发生了改变，Zookeeper就会将这个消息发送给Listener线程；
6.  Listener线程内部调用process方法，采取相应的措施。

![监听器原理图解][20181129152427184.png]

**常见的监听类别**

1.  监听某节点下目录路径的变化：ls path \[watch\]
2.  监听某节点的数据内容的变化：get path \[watch\]

### 写数据流程 ###

![写数据流程][20190520203724604.png]

## IV. ZooKeeper实战 ##

### 客户端命令行操作 ###

启动客户端命令：`bin/zkCli.sh`

<table> 
 <thead> 
  <tr> 
   <th align="left">命令基本语法</th> 
   <th align="left">含义</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="left">help</td> 
   <td align="left">显示所有操作命令</td> 
  </tr> 
  <tr> 
   <td align="left">ls path [watch]</td> 
   <td align="left">查看当前节点所包含的所有子节点，可选watch表示监听节点下目录的变化</td> 
  </tr> 
  <tr> 
   <td align="left">ls2 path [watch</td> 
   <td align="left">查看当前节点数据，并能看到更新次数等数据</td> 
  </tr> 
  <tr> 
   <td align="left">get path [watch]</td> 
   <td align="left">获得节点的值，可选watch表示监听该节点数据内容的变化</td> 
  </tr> 
  <tr> 
   <td align="left">stat path</td> 
   <td align="left">查看节点状态</td> 
  </tr> 
  <tr> 
   <td align="left">create [-s]&nbsp;[-e] path data acl</td> 
   <td align="left">创建节点， -s指定是否自动编号，-e指定顺序还是临时节点。若不指定，则表示持久或非自动编号节点；acl用来进行权限控制，那些人或那些ip可以访问该节点</td> 
  </tr> 
  <tr> 
   <td align="left">set path data [version]</td> 
   <td align="left">更改节点信息， data就是要更新的新内容，version 表示数据版本</td> 
  </tr> 
  <tr> 
   <td align="left">delete path [version]</td> 
   <td align="left">删除节点。 若删除节点存在子节点，那么无法删除该节点，必须先删除子节点，再删除父节点。</td> 
  </tr> 
  <tr> 
   <td align="left">rmr</td> 
   <td align="left">递归删除节点</td> 
  </tr> 
 </tbody> 
</table>

### 原生客户端API ###

**Maven依赖**

<dependency>
        <groupId>org.apache.zookeeper</groupId>
        <artifactId>zookeeper</artifactId>
        <version>x.x.x</version>
    </dependency>

**API操作**

*  参考[Zookeeper API][]

### Curator API ###

Curator是Netflix公司开源的一套zookeeper客户端框架，解决了很多Zookeeper客户端非常底层的细节开发工作，包括连接重连、反复注册Watcher，分布式锁和NodeExistsException异常等等。

**Maven依赖**

<dependency>
        <groupId>org.apache.curator</groupId>
        <artifactId>curator-framework</artifactId>
        <version>x.x.x</version>
    </dependency>

**API操作**

*  参考[Zookeeper客户端Curator使用详解][Zookeeper_Curator]

[ZooKeeper]: /images/20220130/87a58a1402b547f78b4b4a8df12b1e2f.png
[ZooKeeper 1]: /images/20220130/7ae44640fd364ec4b4f91e534b52335f.png
[https_zookeeper.apache.org_releases.html_download]: https://zookeeper.apache.org/releases.html#download
[https_hub.docker.com_zookeeper]: https://hub.docker.com/_/zookeeper/
[zookeeper_zookeeper3.4.5]: https://www.cnblogs.com/lsdb/p/7297731.html
[Zookeeper]: https://juejin.im/post/5cd06b7c51882544da500e36
[Zookeeper_-Zookeeper Leader]: https://juejin.im/post/5b949d595188255c6a041c22
[20181129152427184.png]: /images/20220130/be941b658ae94aa1965f7a8d638b8cb2.png
[20190520203724604.png]: /images/20220130/aced11720897425a96ec1c26583b6069.png
[Zookeeper API]: https://www.w3cschool.cn/zookeeper/zookeeper_api.html
[Zookeeper_Curator]: http://www.throwable.club/2018/12/16/zookeeper-curator-usage/