Zookeeper基础入门与安装部署

落日映苍穹つ 2023-06-02 09:21 10阅读 0赞

## **【1】Zookeeper基础入门** ##

**① Zookeeper是什么**

Zookeeper是一个开源的分布式的、为分布式应用提供协调服务的Apache项目。

Zookeeper从设计模式角度来理解，其实是一个基于观察者模式设计的分布式服务管理框架。它负责存储和管理大家都关心的数据，然后接受观察者的注册。一旦这些数据的状态发送变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应。从Zookeeper存储数据和通知机制来讲，可以说Zookeeper=文件系统+通知机制。

**zookeeper实现服务器节点动态上下线过程描述如下：**

*  服务端启动时去注册信息(创建的都是临时节点)；
 *  客户端获取到当前在线服务器列表，并且注册监听；
 *  服务器节点下线；
 *  服务器节点上下线事件通知(Zookeeper负责)；
 *  客户端收到监听通知则做出相应反应，比如重新获取在线服务器列表注册监听。

--------------------

**② Zookeeper集群特点**

集群如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70]

*  Zookeeper集群是一个leader和多个follow组成的集群。
 *  集群中只要半数以上节点存活，Zookeeper集群就能正常服务。
 *  全局数据一致，每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的。
 *  更新请求顺序进行，来自同一个Client的更新请求按其发送顺序依次执行。
 *  数据更新原子性，一次数据更新要么成功，要么失败。
 *  实时性，在一定时间范围内，Client能读到最新数据。

--------------------

**③ Zookeeper的数据结构**

Zookeeper的数据模型的结构与UNIX文件系统很类似，整体上可以看做是一棵树，每个节点称做一个ZNode。每一个ZNode默认能够存储1MB的数据，每个ZNode可以通过其路径唯一标识。

如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 1]

--------------------

**④ 应用场景**

Zookeeper有诸多应用场景，如统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。

*  统一命名服务

在分布式环境下，经常需要对应用/服务进行统一命名，便于区别。例如IP不容易记住而域名容易记住。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 2]

*  统一配置管理

分布式环境下，配置文件同步非常常见。一般要求一个集群中，所有节点的配置信息是一致的，比如kafka集群。对配置文件修改后，希望能够快速同步到各个节点上。

配置管理可交由Zookeeper实现：可将配置信息写入Zookeeper上的一个ZNode；每个客户端服务器监听这个ZNode；一旦ZNode中的数据被修改，Zookeeper将通知各个客户端。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 3]

--------------------

*  统一集群管理

分布式环境中，实时掌握每个节点的状态是很必要的，以便可以根据节点实时状态做出一些调整。

Zookeeper可以实现实时监控节点状态的变化：可以将节点信息写入Zookeeper的一个ZNode；监听这个ZNode可获取它的实时状态变化。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 4]

--------------------

*  软负载均衡

在Zookeeper中记录每台服务器的访问数，让访问数最少的服务器去处理最新的客户端请求。

--------------------

## **【2】单击版Zookeeper下载与安装** ##

官网地址：http://zookeeper.apache.org/

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 5]

下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 6]

--------------------

**① 本机模式安装Zookeeper**

这里下载的是3.5.5版本，将其放到linux某个路径下(这里有个坑，请下载apache-zookeeper-3.5.5-bin.tar.gz，该包可以正常使用。apache-zookeeper-3.5.5.tar.gz是源码包)：  
![在这里插入图片描述][20191004165744772.png]  
注意，安装Zookeeper一定先安装好jdk，linux安装jdk可以参考如下博文：  
[Linux下源码安装jdk1.8][Linux_jdk1.8] ， [CentOS7 下rpm安装jdk1.8][CentOS7 _rpm_jdk1.8] 。

**安装步骤如下：**

*  解压

tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz
     //或者指定解压目录
     tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz -C /home/softinstall

*  修改配置文件(把conf中的zoo\_sample.cfg重命名为zoo.cfg)

cd  apache-zookeeper-3.5.5/conf
    mv zoo_sample.cfg zoo.cfg
    //配置数据路径
    mkdir -p /home/softinstall/apache-zookeeper-3.5.5/zkData
    vim zoo.cfg

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 7]

--------------------

**② 操作Zookeeper**

*  启动Zookeeper服务端

[root@localhost apache-zookeeper-3.5.5-bin]# bin/zkServer.sh  start
    ZooKeeper JMX enabled by default
    Using config: /opt/softinstall/apache-zookeeper-3.5.5-bin/bin/../conf/zoo.cfg
    Starting zookeeper ... STARTED
    
    [root@localhost apache-zookeeper-3.5.5-bin]# jps
    27368 QuorumPeerMain
    27388 Jps

*  关闭zkserver

bin/zkServer.sh  stop

*  查看服务状态

[root@localhost apache-zookeeper-3.5.5-bin]# bin/zkServer.sh status
    ZooKeeper JMX enabled by default
    Using config: /opt/softinstall/apache-zookeeper-3.5.5-bin/bin/../conf/zoo.cfg
    Client port found: 2181. Client address: localhost.
    Mode: standalone    //表示单机模式

*  重启Zookeeper服务

//进入目录下
     bin/zkServer.sh restart

*  启动客户端

bin/zkCli.sh

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 8]

*  查看根目录下内容

[zk: localhost:2181(CONNECTED) 2] ls /
    [zookeeper]

*  退出客户端

[zk: localhost:2181(CONNECTED) 6] quit

--------------------

## **【3】Zookeeper配置文件参数解读** ##

配置文件主要参数如下：

# The number of milliseconds of each tick
    tickTime=2000
    # The number of ticks that the initial
    # synchronization phase can take
    initLimit=10
    # The number of ticks that can pass between
    # sending a request and getting an acknowledgement
    syncLimit=5
    # the directory where the snapshot is stored.
    # do not use /tmp for storage, /tmp here is just
    # example sakes.
    dataDir=/home/softinstall/apache-zookeeper-3.5.5/zkData
    # the port at which the clients will connect
    clientPort=2181
    # the maximum number of client connections.
    # increase this if you need to handle more clients
    #maxClientCnxns=60
    #
    # Be sure to read the maintenance section of the
    # administrator guide before turning on autopurge.
    #
    # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
    #
    # The number of snapshots to retain in dataDir
    #autopurge.snapRetainCount=3
    # Purge task interval in hours
    # Set to "0" to disable auto purge feature
    #autopurge.purgeInterval=1

**① tickTime=2000**

该参数含义为通信心跳数 ，Zookeeper服务器端和客户端心跳时间，单位毫秒。2000表示2S一次心跳检测，也就是每个tickTime时间就会发送一个心跳。它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间(session的最小超时时间=2\*tickTime)。

**② initLimit=10**

集群中的follower与leader之间初始连接时能容忍的最多心跳数(tickTime的数量)，用它来限定集群中Zookeeper服务器连接到leader的时限。

10个心跳帧，10\*2=20s是最开始通信时leader和follower最大延时时间。如果超过该时间，则认为二者断开通信。

**③ syncLimit=5**

集群正常启动后集群中leader与follower之间的最大响应时间单位。假如响应时间超过syncLimit\*tickTime，leader认为follower死掉，从服务器列表中删除follower。

**④ clientPort=2181**

客户端与服务端通信的端口号，默认为2181。

**⑤ dataDir**

zookeeper的数据目录。另外还有日志文件目录默认在`../apache-zookeeper-3.5.5-bin/logs`下。

--------------------

## **【4】利用zookeeper监听服务器动态上下线实例** ##

背景需求如下：某分布式系统中，主节点有多台，可能进行动态上下线，任意一台客户端都能实时感知到主节点服务器的上下线状态。

**客户端代码**

import java.io.IOException;
    import java.util.ArrayList;
    import java.util.List;
    
    import org.apache.zookeeper.KeeperException;
    import org.apache.zookeeper.WatchedEvent;
    import org.apache.zookeeper.Watcher;
    import org.apache.zookeeper.ZooKeeper;
    
    public class DistributeClient {
    
    	public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
    		
    		DistributeClient client = new DistributeClient();
    		
    		// 1 获取zookeeper集群连接
    		client.getConnect();
    		
    		// 2 注册监听
    		client.getChlidren();
    		
    		// 3 业务逻辑处理
    		client.business();
    		
    	}
    
    	private void business() throws InterruptedException {
    		Thread.sleep(Long.MAX_VALUE);
    	}
    
    	private void getChlidren() throws KeeperException, InterruptedException {
    		
    		List<String> children = zkClient.getChildren("/servers", true);
    		
    		// 存储服务器节点主机名称集合
    		ArrayList<String> hosts = new ArrayList<String>();
    		
    		for (String child : children) {
    			
    			byte[] data = zkClient.getData("/servers/"+child, false, null);
    			
    			hosts.add(new String(data));
    		}
    		
    		// 将所有在线主机名称打印到控制台
    		System.out.println(hosts);
    		
    	}
    
    	private String connectString="127.0.0.1:3181,127.0.0.1:3182,127.0.0.1:3183";
    	private int sessionTimeout = 2000;
    	private ZooKeeper zkClient;
    
    	private void getConnect() throws IOException {
    	
    		zkClient = new ZooKeeper(connectString , sessionTimeout , new Watcher() {
    			
    			public void process(WatchedEvent event) {
    				
    				try {
    					getChlidren();
    				} catch (KeeperException e) {
    					e.printStackTrace();
    				} catch (InterruptedException e) {
    					e.printStackTrace();
    				}
    			}
    		});
    		
    	}
    }

**服务端代码**

import java.io.IOException;
    
    import org.apache.zookeeper.CreateMode;
    import org.apache.zookeeper.KeeperException;
    import org.apache.zookeeper.WatchedEvent;
    import org.apache.zookeeper.Watcher;
    import org.apache.zookeeper.ZooKeeper;
    import org.apache.zookeeper.ZooDefs.Ids;
    
    public class DistributeServer {
    
    	public static void main(String[] args) throws Exception {
    		
    		DistributeServer server = new DistributeServer();
    		
    		// 1 连接zookeeper集群
    		server.getConnect();
    		
    		// 2 注册节点
    		server.regist(args[0]);
    		
    		// 3 业务逻辑处理
    		server.business();
    	}
    
    	private void business() throws InterruptedException {
    	
    		Thread.sleep(Long.MAX_VALUE);
    	}
    
    	private void regist(String hostname) throws KeeperException, InterruptedException {
    		//注意，创建的是临时、有序号节点。这样服务器down了节点也就不存在了
    		String path = zkClient.create("/servers/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
    		
    		System.out.println(hostname +"is online ");
    		
    	}
    
    	private String connectString="127.0.0.1:3181,127.0.0.1:3182,127.0.0.1:3183";
    	private int sessionTimeout = 2000;
    	private ZooKeeper zkClient;
    
    	private void getConnect() throws IOException {
    		
    		zkClient = new ZooKeeper(connectString , sessionTimeout , new Watcher() {
    			
    			public void process(WatchedEvent event) {
    				// TODO Auto-generated method stub
    				
    			}
    		});
    	}
    }

zookeeper更多使用参考博文：[ZooKeeper学习之内部原理][ZooKeeper]

## 【5】zookeeper常见命令 ##

### ① ZK服务端命令 ###

启动ZK服务

sh bin/zkServer.sh start

查看服务状态

sh bin/zkServer.sh status

停止ZK服务

sh bin/zkServer.sh stop

重启ZK服务

sh bin/zkServer.sh restart

### ② zk客户端命令 ###

ZooKeeper命令行工具类似于Linux的shell环境使用它我们可以简单的对ZooKeeper进行访问，数据创建，数据修改等操作. 使用 `zkCli.sh -server 127.0.0.1:2181` 连接到 ZooKeeper 服务，连接成功后，系统会输出 ZooKeeper 的相关环境以及配置信息。

**命令行工具的一些简单操作如下：**

*  显示根目录下、文件： ls / 使用 ls 命令来查看当前 ZooKeeper 中所包含的内容
 *  显示根目录下、文件： ls2 / 查看当前节点数据并能看到更新次数等数据
 *  创建文件，并设置初始内容： create /zk “test” 创建一个新的 znode节点“ zk ”以及与它关联的字符串
 *  获取文件内容： get /zk 确认 znode 是否包含我们所创建的字符串
 *  修改文件内容： set /zk “zkbak” 对 zk 所关联的字符串进行设置
 *  删除文件： delete /zk 将刚才创建的 znode 删除
 *  退出客户端： quit
 *  帮助命令： help

### ③ ZooKeeper 常用四字命令 ###

ZooKeeper 支持某些特定的四字命令字母与其的交互。它们大多是查询命令，用来获取 ZooKeeper 服务的当前状态及相关信息。用户在客户端可以通过 `telnet 或 nc` 向 ZooKeeper 提交相应的命令

*  可以通过命令：`echo stat|nc 127.0.0.1 2181` 来查看哪个节点被选择作为follower或者leader
 *  使用`echo ruok|nc 127.0.0.1 2181` 测试是否启动了该Server，若回复imok表示已经启动。
 *  `echo dump| nc 127.0.0.1 2181` ,列出未经处理的会话和临时节点。
 *  `echo kill | nc 127.0.0.1 2181` ,关掉server
 *  `echo conf | nc 127.0.0.1 2181` ,输出相关服务配置的详细信息。
 *  `echo cons | nc 127.0.0.1 2181` ,列出所有连接到服务器的客户端的完全的连接 / 会话的详细信息。
 *  `echo envi |nc 127.0.0.1 2181` ,输出关于服务环境的详细信息（区别于 conf 命令）。
 *  `echo reqs | nc 127.0.0.1 2181` ,列出未经处理的请求。
 *  `echo wchs | nc 127.0.0.1 2181` ,列出服务器 watch 的详细信息。
 *  `echo wchc | nc 127.0.0.1 2181` ,通过 session 列出服务器 watch 的详细信息，它的输出是一个与 watch 相关的会话的列表。
 *  `echo wchp | nc 127.0.0.1 2181` ,通过路径列出服务器 watch 的详细信息。它输出一个与 session 相关的路径。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70]: /images/20230601/cd5539cbdac146e5b195fceb0481ecc4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 1]: /images/20230601/86f2fd1c4af74cc3922c04047d9f5ee8.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 2]: /images/20230601/49692cc998624ddd8f1fd2b52704e6f1.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 3]: /images/20230601/49d866c0477b4c52946dcdff343547a6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 4]: /images/20230601/4f5b2e343ae24f269897e7196767a8ea.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 5]: /images/20230601/f7149463ce0f45c7b3adbcf6c707dbf9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 6]: /images/20230601/159435786cba47b2af366066773cfe73.png
[20191004165744772.png]: /images/20230601/a68553a3711a4dac9b518e67c21124eb.png
[Linux_jdk1.8]: https://blog.csdn.net/J080624/article/details/94578363
[CentOS7 _rpm_jdk1.8]: https://blog.csdn.net/J080624/article/details/78133464
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 7]: /images/20230601/316032c219574814aa60a0b7590a6e97.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0owODA2MjQ_size_16_color_FFFFFF_t_70 8]: /images/20230601/e55573394ff54e3cba3fec9c8d9e3b9f.png
[ZooKeeper]: https://blog.csdn.net/J080624/article/details/102214885