分布式协作服务框架Zookeeper安装部署

阳光穿透心脏的1/2处 2022-12-15 14:18 86阅读 0赞

##### 一、Zookeeper是什么 #####

官方文档是这么解释Zookeeper的：它是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。它提供一个简单的原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务。它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、配置管理、集群管理、共享锁/同步锁等。从设计模式角度来看，它是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理集群中所有结点都关心的数据，然后接受观察者（集群中的结点）的注册，如果这些数据的状态发生改变，zookeeper就会通知已经在Zookeeper上注册过的那些观察者作出相应的反应，从而实现集群中类似于Master/Slave的管理模式。

##### 二、Zookeeper相关信息 #####

**1、zookeeper的数据结构**  
Zookeeper的命名空间的结构和文件系统很像，一个名字和文件一样使用/作为路径表现，zookeeper的每个结点都是被路径唯一标识的  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center]  
**2、Zookeeper的角色**  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 1]

**3、Zookeeper服务的流程图**  
下图展示一个Zookeeper服务的流程图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 2]

##### 三、安装和配置详解 #####

**1、单机模式**  
（1）安装JDK、配置环境变量，验证`java --version`  
[JDK的安装请参考该链接][JDK]

（2）下载、解压

> 下载地址:[http://apache.datagutu.cn/zookeeper/][http_apache.datagutu.cn_zookeeper]  
> 解压: `tar -zxvf zookeeper-3.4.5.tar.gz -C /opt/app`

![在这里插入图片描述][20201017202851156.png_pic_center]  
（3）配置  
a、更改zookeeper安装目录下的conf文件夹下的zoo\_sample.cfg为zoo.cfg  
![在这里插入图片描述][2020101720311326.png_pic_center]  
b、配置参数详解

> tickTime：这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳

> dataDir：顾名思义就是 Zookeeper 保存数据的目录，默认情况下，Zookeeper 将写数据的日志文件也保存在这个目录里

> clientPort：这个端口就是客户端连接 Zookeeper 服务器的端口，Zookeeper 会监听这个端口，接受客户端的访问请求

c、在zoo.cfg文件内配置数据存储目录:  
![在这里插入图片描述][20201017203203613.png_pic_center]  
d、 回到安装目录下创建上面配置的数据存储目录  
![在这里插入图片描述][20201017203316148.png_pic_center]  
（4）启动：`bin/zkServer.sh start`  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 3]  
(5) Zookeeper的使用  
a、启动客户端:`bin/zkCli.sh`  
![在这里插入图片描述][20201017205835916.png_pic_center]  
b、使用 ls 命令来查看当前 ZooKeeper 中所包含的内容  
![在这里插入图片描述][20201017205912554.png_pic_center]  
c、使用 help命令来查看zookeeper有哪些命令  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 4]  
具体使用你可以根据上面的命令去尝试

d、使用`quit`命令推出客户端  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 5]

**2、集群模式安装**  
(1) 首先确保已经搭建好了集群，具体搭建可以参考[CentOS下hadoop的分布式搭建][CentOS_hadoop]  
(2) 在单机模式的基础上，修改配置文件conf/zoo.cfg，添加如下内容:  
![在这里插入图片描述][20201017210639414.png_pic_center]  
(3) 使用远程命令将zookeeper安装目录分发到各个机器上面（注意一定是到同一安装目录下）  
![在这里插入图片描述][20201017210923103.png_pic_center]  
![在这里插入图片描述][20201017210939754.png_pic_center]  
(4) 在各个机器安装的数据存储目录下创建myid文件  
命令: touch myid  
编辑：vim myid  
内容：注意内容应该与zoo.cfg中的id对应。如hadoop1机器上对应的是server.1则myid中的内容为1.  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 6]  
(5) 配置参数详解

> initLimit：这个配置项是用来配置Zookeeper客户端（`注意这里的客户端不是用户连接到Zookeeper服务器的客户端，而是Zookeeper服务器集群中连接到Leader的Follower服务器`）初始化连接时最长能忍受多少个心跳时间间隔数。当已经超过10个心跳时间（也就是ticktime）长度后zookeeper服务器还没收到客户端的返回信息，那么表明这个客户端链接失败

> syncLimit：这个配置项标识Leader与Follower之间发送信息，请求和应答时间长度，最长不能超过多少个ticktime的时间长度，总的时间长度就是2\*2000=2秒

> server.A=B：C：D：其中 A 是一个数字，表示这个是`第几号服务器`；B 是这个`服务器的 ip 地址`；C 表示的是这个`服务器与集群中的 Leader 服务器交换信息的端口`；D 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是`用来执行选举时服务器相互通信的端口`。

> 集群模式下配置一个myid,这个文件在dataDir目录下,这个文件里面就有一个A的值，Zookeeper启动时，读取次文件，拿到脸的数据与zoo.cfg里面的配置信息比较从而判断到底是哪个server

(5) 启动  
在各个机器zookeeper安装目录下执行:`bin/zkServer.sh start`,并执行 `bin/zkServer.sh status`查看角色  
![在这里插入图片描述][20201017211941548.png_pic_center]  
![在这里插入图片描述][20201017211951393.png_pic_center]  
![在这里插入图片描述][20201017212001250.png_pic_center]  
可以看到，第二台机器是leader，其余两台是follower。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/9b00de6e979044988ff38153fd2a36e3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/66655f72c9004b88bab1f9e6c30e282c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/17472fb45fd14d98adb72b0b0fd5873f.png
[JDK]: https://blog.csdn.net/sinat_40875078/article/details/109010459
[http_apache.datagutu.cn_zookeeper]: http://apache.datagutu.cn/zookeeper/
[20201017202851156.png_pic_center]: /images/20221123/7cbfa70a878e4477b9d2d55bb5a180a2.png
[2020101720311326.png_pic_center]: /images/20221123/fe9fbd7feadc4a4db04308202ee47e1d.png
[20201017203203613.png_pic_center]: /images/20221123/6638a1bad35347eab64446eaa6d247be.png
[20201017203316148.png_pic_center]: /images/20221123/6314adb88cd247269f406eab44f3987b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/5e4d34905a454a50b3c4b3cd1e8ea23a.png
[20201017205835916.png_pic_center]: /images/20221123/4183e47bf96d41f29ff192d2259177c3.png
[20201017205912554.png_pic_center]: /images/20221123/f7b373e519654986be2b802970eef17d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 4]: /images/20221123/11cca1d503134678a26307d21c4bfd89.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 5]: /images/20221123/f1f1aca3117b4d54b9cec474773acb7c.png
[CentOS_hadoop]: https://blog.csdn.net/sinat_40875078/article/details/109015902
[20201017210639414.png_pic_center]: /images/20221123/547404fa1bc64dbfa572fa402fde54c3.png
[20201017210923103.png_pic_center]: /images/20221123/557a8399c12a4c38a128c1c185f3bfe5.png
[20201017210939754.png_pic_center]: /images/20221123/4031ca9ab4b4432987edde2e293fc028.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70_pic_center 6]: /images/20221123/da582176a7074f8ebf94b489677c3d14.png
[20201017211941548.png_pic_center]: /images/20221123/73505091f54a4653b98c12276222b012.png
[20201017211951393.png_pic_center]: /images/20221123/f2635e258e8a4f5f9ff51edc1e426627.png
[20201017212001250.png_pic_center]: /images/20221123/452b78979ef4414dbb5bca7c075afb66.png