zookeeper学习记录

一时失言乱红尘 2021-11-10 03:36 214阅读 0赞

### http://agapple.iteye.com/blog/1111377 ###

### [zookeeper学习记录][zookeeper] ###

**博客分类：**

*  
 *  [distributed][]

# 背景 #

前段时间看了S4流计算引擎，里面使用到了zookeeper进行集群管理，所以也就花了点时间研究了下zookeeper，不求看懂所有源码，但求了解其实现机制和原理，清楚其基本使用。这也是为后续hadoop,gridgain的分布式计算的产品。

# 学习 #

首先就是收集一些前人的一些学习资料和总结内容，方便自己快速入门。

这里罗列了几篇不错的文章：

*  [http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/][http_www.ibm.com_developerworks_cn_opensource_os-cn-zookeeper] (介绍了zookeeper能用来干嘛)
 *  [http://zookeeper.apache.org/doc/r3.3.2/zookeeperOver.html][http_zookeeper.apache.org_doc_r3.3.2_zookeeperOver.html] (官方文档，大致介绍zookeeper)

看了这两篇文章，基本可以对zookeeper有了一个感性的认识，它是一个什么？

zookeeper功能点：

*  统一命名空间(Name Service)
 *  配置推送 (Watch)
 *  集群管理(Group membership)

## 统一命名空间 ##

在zookeeper中实现了一个类似file system系统的数据结构，比如/zookeeper/status。 每个节点都对应于一个znode节点。

znode节点的数据结构模型：

![93236336-3ae3-3832-9857-f6298a3d3e7e.jpg][]

znode的数据结构内容：

*  **czxid**
    
    The zxid of the change that caused this znode to be created.
 *  **mzxid**
    
    The zxid of the change that last modified this znode.
 *  **ctime**
    
    The time in milliseconds from epoch when this znode was created.
 *  **mtime**
    
    The time in milliseconds from epoch when this znode was last modified.
 *  **version**
    
    The number of changes to the data of this znode.
 *  **cversion**
    
    The number of changes to the children of this znode.
 *  **aversion**
    
    The number of changes to the ACL of this znode.
 *  **ephemeralOwner**
    
    The session id of the owner of this znode if the znode is an ephemeral node. If it is not an ephemeral node, it will be zero.
 *  **dataLength**
    
    The length of the data field of this znode.
 *  **numChildren**
    
    The number of children of this znode.

说明：　zxid (ZooKeeper Transaction Id，每次请求对应一个唯一的zxid，如果zxid a < zxid b ，则可以保证a一定发生在b之前)。

针对树状结构的处理，来看一下客户端使用的api :

Java代码 ![收藏代码][icon_star.png]

1.  String create(String path, byte data\[\], List<ACL> acl, CreateMode createMode)
2.  void create(String path, byte data\[\], List<ACL> acl, CreateMode createMode, StringCallback cb, Object ctx)
3.  
4.  void delete(String path, int version)
5.  void delete(String path, int version, VoidCallback cb, Object ctx)
6.  
7.  Stat setData(String path, byte data\[\], int version)
8.  void setData(String path, byte data\[\], int version, StatCallback cb, Object ctx)
9.  
10. Stat setACL(String path, List<ACL> acl, int version)
11. void setACL(String path, List<ACL> acl, int version, StatCallback cb, Object ctx)
12. 
13. Stat exists(String path, Watcher watcher)
14. Stat exists(String path, boolean watch)
15. void exists(String path, Watcher watcher, StatCallback cb, Object ctx)
16. void exists(String path, boolean watch , StatCallback cb, Object ctx)
17. 
18. byte\[\] getData(String path, Watcher watcher, Stat stat)
19. byte\[\] getData(String path, boolean watch , Stat stat)
20. void getData(String path, Watcher watcher, DataCallback cb, Object ctx)
21. void getData(String path, boolean watch , DataCallback cb, Object ctx)
22. 
23. List<String> getChildren(String path, Watcher watcher)
24. List<String> getChildren(String path, boolean watch )
25. void getChildren(String path, Watcher watcher, ChildrenCallback cb, Object ctx)
26. void getChildren(String path, boolean watch , ChildrenCallback cb, Object ctx)
27. 
28. List<String> getChildren(String path, Watcher watcher, Stat stat)
29. List<String> getChildren(String path, boolean watch , Stat stat)
30. void getChildren(String path, Watcher watcher, Children2Callback cb, Object ctx)
31. void getChildren(String path, boolean watch , Children2Callback cb, Object ctx)

说明：每一种按同步还是异步，添加指定watcher还是默认watcher又分为4种。默认watcher可以在ZooKeeper zk = new ZooKeeper(serverList, sessionTimeout, watcher)中进行指定。如果包含boolean watch的读方法传入true则将默认watcher注册为所关注事件的watch。如果传入false则不注册任何watch

CreateMode主要有几种：

*  PERSISTENT (持续的，相比于EPHEMERAL，不会随着client session的close/expire而消失)
 *  PERSISTENT\_SEQUENTIAL
 *  EPHEMERAL (短暂的，生命周期依赖于client session，对应session close/expire后其znode也会消失)
 *  EPHEMERAL\_SEQUENTIAL (SEQUENTIAL意为顺序的)

AsyncCallback异步callback，根据操作类型的不同，也分几类：

*  StringCallback
 *  VoidCallback
 *  StatCallback
 *  DataCallback (getData请求)
 *  ChildrenCallback
 *  Children2Callback

对应的ACL这里有篇不错的文章介绍， [http://rdc.taobao.com/team/jm/archives/947][http_rdc.taobao.com_team_jm_archives_947]

## 配置推送(Watcher) ##

zookeeper为解决数据的一致性，使用了Watcher的异步回调接口，将服务端znode的变化以事件的形式通知给客户端，主要是一种反向推送的机制，让客户端可以做出及时响应。比如及时更新后端的可用集群服务列表。

这里有篇文章介绍Watcher/Callback比较详细，可以参考下：

*  [http://luzengyi.blog.163.com/blog/static/529188201064113744373/][http_luzengyi.blog.163.com_blog_static_529188201064113744373]
 *  [http://luzengyi.blog.163.com/blog/static/529188201061155444869/][http_luzengyi.blog.163.com_blog_static_529188201061155444869]

如果想更好的理解Watcher的使用场景，可以了解下使用Watcher机制实现分布式的Barrier , Queue , Lock同步。

Barrier例子：

Java代码 ![收藏代码][icon_star.png]

1.  public class Barrier implements Watcher \{
2.  
3.  private static final String addr = "10.20.156.49:2181";
4.  private ZooKeeper zk = null;
5.  private Integer mutex;
6.  private int size = 0;
7.  private String root;
8.  
9.  public Barrier(String root, int size)\{
10. this.root = root;
11. this.size = size;
12. 
13. try \{
14. zk = new ZooKeeper(addr, 10 \* 1000, this);
15. mutex = new Integer(-1);
16. Stat s = zk.exists(root, false);
17. if (s == null) \{
18. zk.create(root, new byte\[0\], Ids.OPEN\_ACL\_UNSAFE, CreateMode.PERSISTENT);
19. \}
20. 
21. \} catch (Exception e) \{
22. e.printStackTrace();
23. \}
24. 
25. \}
26. 
27. public synchronized void process(WatchedEvent event) \{
28. synchronized (mutex) \{
29. mutex.notify();
30. \}
31. \}
32. 
33. public boolean enter(String name) throws Exception \{
34. zk.create(root + "/" \+ name, new byte\[0\], Ids.OPEN\_ACL\_UNSAFE, CreateMode.EPHEMERAL);
35. while (true) \{
36. synchronized (mutex) \{
37. List<String> list = zk.getChildren(root, true);
38. if (list.size() < size) \{
39. mutex.wait();
40. \} else \{
41. return true;
42. \}
43. \}
44. \}
45. \}
46. 
47. public boolean leave(String name) throws KeeperException, InterruptedException \{
48. zk.delete(root + "/" \+ name, 0);
49. while (true) \{
50. synchronized (mutex) \{
51. List<String> list = zk.getChildren(root, true);
52. if (list.size() > 0) \{
53. mutex.wait();
54. \} else \{
55. return true;
56. \}
57. \}
58. \}
59. \}
60. 
61. \}

测试代码：

Java代码 ![收藏代码][icon_star.png]

1.  public class BarrierTest \{
2.  
3.  public static void main(String args\[\]) throws Exception \{
4.  for (int i = 0; i < 3; i++) \{
5.  Process p = new Process("Thread-" \+ i, new Barrier("/test/barrier", 3));
6.  p.start();
7.  \}
8.  \}
9.  \}
10. 
11. class Process extends Thread \{
12. 
13. private String name;
14. private Barrier barrier;
15. 
16. public Process(String name, Barrier barrier)\{
17. this.name = name;
18. this.barrier = barrier;
19. \}
20. 
21. @Override
22. public void run() \{
23. try \{
24. barrier.enter(name);
25. System.out.println(name + " enter");
26. Thread.sleep(1000 \+ new Random().nextInt(2000));
27. barrier.leave(name);
28. System.out.println(name + " leave");
29. \} catch (Exception e) \{
30. e.printStackTrace();
31. \}
32. \}
33. \}

通过该Barrier，可以协调不同任务之间的同步处理，这里主要还是利用了Watcher机制的反向推送，避免客户端的循环polling动作，只要针对有事件的变化做一次响应。

## 集群管理 ##

我不罗嗦，taobao有几篇文章已经介绍的很详细。

*  [http://rdc.taobao.com/blog/cs/?p=162][http_rdc.taobao.com_blog_cs_p_162] (paxos 实现)
 *  [http://rdc.taobao.com/blog/cs/?p=261][http_rdc.taobao.com_blog_cs_p_261] (paxos算法介绍续)
 *  [http://rdc.taobao.com/team/jm/archives/448][http_rdc.taobao.com_team_jm_archives_448] (zookeeper代码解析)

zookeeper集群对server进行了归类，可分为：

*  Leader
 *  Follower
 *  Obserer

说明：

1. Leader/Follower会通过选举算法进行选择，可以看一下 [http://zookeeper.apache.org/doc/r3.3.2/recipes.html][http_zookeeper.apache.org_doc_r3.3.2_recipes.html] 里的Leader Election章节。

2. Observer主要是为提升zookeeper的性能，observer和follower的主要区别就是observer不参与Leader agreement vote处理。只提供读节点的处理，类似于master/slave的读请求。 ( [http://zookeeper.apache.org/doc/r3.3.2/zookeeperObservers.html][http_zookeeper.apache.org_doc_r3.3.2_zookeeperObservers.html])

Java代码 ![收藏代码][icon_star.png]

1.  server.1:localhost:2181:3181:observer

# 3. 可通过命令行，查看当前server所处的状态 #

Java代码 ![收藏代码][icon_star.png]

1.  \[ljh@ccbu\-156\-49 bin\]$ echo stat | nc localhost 2181
2.  Zookeeper version: 3.3.3\--1, built on 06/24/2011 13:12 GMT
3.  Clients:
4.  /10.16.4.30:34760\[1\](queued=0,recved=632,sent=632)
5.  /127.0.0.1:43626\[0\](queued=0,recved=1,sent=0)
6.  /10.16.4.30:34797\[1\](queued=0,recved=2917,sent=2917)
7.  
8.  Latency min/avg/max: 0/0/33
9.  Received: 3552
10. Sent: 3551
11. Outstanding: 0
12. Zxid: 0x200000003
13. Mode: follower \#\#当前模式
14. Node count: 8

# 使用zookeeper，我们能干些什么？ #

官方文档中，有举了几个应用场景，就是使用zookeeper提供分布式锁机制，从而实现分布式的一致性处理。

典型的几个场景：

*  Barrier
 *  Queue
 *  Lock
 *  2PC

可以参看一下： [http://zookeeper.apache.org/doc/r3.3.2/recipes.html][http_zookeeper.apache.org_doc_r3.3.2_recipes.html]

# 其他 #

zookeeper基本是基于API和console进行znode的操作，并没有一个比较方便的操作界面，这里也发现了taobao 伯岩写的一个工具，可以比较方便的查询zookeeper信息。

工具的开发语言主要是node.js(最近比较火)，其标榜的是无阻塞的api使用。其原理主要是基于google的V8(chrome的javascript的解析器，C语言编写)，node.js本身是基于js语法进行开发，通过V8解析为C语言的执行代码

其标榜的无阻塞I/O实现，那可想而知就是linux系统下的select/poll的I/O模型。有兴趣的可以看下node.js的官网，下载一个玩玩。

文档地址： [http://www.blogjava.net/killme2008/archive/2011/06/06/351793.html][http_www.blogjava.net_killme2008_archive_2011_06_06_351793.html]

代码地址： [https://github.com/killme2008/node-zk-browser][https_github.com_killme2008_node-zk-browser]

通过git下载源码后，需要安装下node.js的几个模块express, express-namespace, zookeeper。 node.js下有个比较方便的模块管理器npm，类似于redhat的rpm，ubuntu的apt-get。

安装模块：

Java代码 ![收藏代码][icon_star.png]

1.  npm install -g express

几个界面：

![点击查看原始大小图片][1132f0eb-d153-367b-90dd-907fe02fc67e.png]

*  [查看图片附件][zookeeper]

分享到： ![sina.jpg][] ![tec.jpg][]

[zookeeper学习记录(二)][zookeeper 1] | [BeanMapping新的功能点(6月22号)][BeanMapping_6_22]

*  2011-06-30 17:45
 *  浏览 41179
 *  [评论(5)][5]
 *  分类:[编程语言][Link 1]
 *  [相关推荐][Link 2]

##### 评论 #####

5 楼 [wanglf365][] 2014-05-17

/quote\]

4 楼 [agapple][] 2013-03-25

lixieinstein 写道

LZ，你好，请问Barrier实现中，Barrier类的process方法为什么要加上synchronized呢？里面已经对mutex加锁了，所以这个方法肯定同步了，即使异步事件触发了，也是不会同步执行process，process被修饰为synchronized是不是没有必要呢？我看ZooKeeper的官方文档里面也加了这个synchronized，但是我觉得好像是没有必要的。

you are right.  
  
这个例子我是参照官方文档实现的，不过Watch.process()回调基本也是串行操作，也不会有并发的问题

3 楼 [lixieinstein][] 2013-03-24

2 楼 [agapple][] 2012-11-03

543089122 写道

LZ，你的分布式Barrier有点问题吧！你enter方法里面的synchronized (mutex)在分布式的情况下等于摆设。。

分布式锁操作一定会有单机jvm的lock机制配合。这里为啥用sync原语，可以看下object的wait方法的使用

1 楼 [543089122][] 2012-11-02

LZ，你的分布式Barrier有点问题吧！你enter方法里面的synchronized (mutex)在分布式的情况下等于摆设。。

转载于:https://www.cnblogs.com/DjangoBlog/p/3779928.html

[zookeeper]: http://agapple.iteye.com/blog/1111377
[distributed]: http://agapple.iteye.com/category/161036
[http_www.ibm.com_developerworks_cn_opensource_os-cn-zookeeper]: http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/
[http_zookeeper.apache.org_doc_r3.3.2_zookeeperOver.html]: http://zookeeper.apache.org/doc/r3.3.2/zookeeperOver.html
[93236336-3ae3-3832-9857-f6298a3d3e7e.jpg]: /images/20211109/0fc8e5c7b6b5498cbdda02977c56129f.png
[icon_star.png]: /images/20211109/49d4a4404b5c4ce29539102a6c1f3747.png
[http_rdc.taobao.com_team_jm_archives_947]: http://rdc.taobao.com/team/jm/archives/947
[http_luzengyi.blog.163.com_blog_static_529188201064113744373]: http://luzengyi.blog.163.com/blog/static/529188201064113744373/
[http_luzengyi.blog.163.com_blog_static_529188201061155444869]: http://luzengyi.blog.163.com/blog/static/529188201061155444869/
[http_rdc.taobao.com_blog_cs_p_162]: http://rdc.taobao.com/blog/cs/?p=162
[http_rdc.taobao.com_blog_cs_p_261]: http://rdc.taobao.com/blog/cs/?p=261
[http_rdc.taobao.com_team_jm_archives_448]: http://rdc.taobao.com/team/jm/archives/448
[http_zookeeper.apache.org_doc_r3.3.2_recipes.html]: http://zookeeper.apache.org/doc/r3.3.2/recipes.html
[http_zookeeper.apache.org_doc_r3.3.2_zookeeperObservers.html]: http://zookeeper.apache.org/doc/r3.3.2/zookeeperObservers.html
[http_www.blogjava.net_killme2008_archive_2011_06_06_351793.html]: http://www.blogjava.net/killme2008/archive/2011/06/06/351793.html
[https_github.com_killme2008_node-zk-browser]: https://github.com/killme2008/node-zk-browser
[1132f0eb-d153-367b-90dd-907fe02fc67e.png]: /images/20211109/48fe10c088b7482e894c6409baf46ec3.png
[sina.jpg]: http://agapple.iteye.com/images/sina.jpg
[tec.jpg]: /images/20211109/43d90d1d06ec433cba1d367a78f921b5.png
[zookeeper 1]: http://agapple.iteye.com/blog/1112032
[BeanMapping_6_22]: http://agapple.iteye.com/blog/1101502
[5]: http://agapple.iteye.com/blog/1111377#comments
[Link 1]: http://www.iteye.com/blogs/category/language
[Link 2]: http://www.iteye.com/wiki/blog/1111377
[wanglf365]: http://wanglf365.iteye.com/
[agapple]: http://agapple.iteye.com/
[lixieinstein]: http://seenoevil.iteye.com/
[543089122]: http://jqsl2012.iteye.com/