[开启大数据的大门] 第二天: Zookeeper简介与集群搭建

我就是我 2022-02-19 21:11 152阅读 0赞

## 一、前言 ##

**Zookeeper简介**  
Zookeeper是一个分布式协调服务；就是为用户的分布式应用程序提供协调服务

*  A、zookeeper是为别的分布式程序服务的
 *  B、Zookeeper本身就是一个分布式程序（只要有半数以上节点存活，zk就能正常服务）
 *  C、Zookeeper所提供的服务涵盖：主从协调、服务器节点动态上下线、统一配置管理、分布式共享锁、统一名称服务……
 *  D、虽然说可以提供各种服务，但是zookeeper在底层其实只提供了两个功能：

> **管理(存储，读取)用户程序提交的数据；**  
> **并为用户程序提供数据节点监听服务；**

**Zookeeper集群的角色：**

Leader 和 follower （Observer）  
只要集群中有半数以上节点存活，集群就能提供服务;

**zookeeper集群机制**

半数机制：集群中半数以上机器存活，集群可用。

> zookeeper适合装在奇数台机器上！！！
> 
> zookeeper不适合大量集群,时间有误差集群很大的时候更新数据延迟

## 二、准备 ##

Zookeeper本身是由Java语言开发的一个相对独立的基础分布式组件，因此，Zookeeper的安装除了需要安装JVM外，不再需要依赖其它环境。  
**2.1、机器环境准备**  
　　我们准备3台机器，并都装好JDK且设置好hostname。

<table> 
 <thead> 
  <tr> 
   <th>机器IP</th> 
   <th>hostname</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>192.168.5.101</td> 
   <td>s101</td> 
  </tr> 
  <tr> 
   <td>192.168.5.102</td> 
   <td>s102</td> 
  </tr> 
  <tr> 
   <td>192.168.5.103</td> 
   <td>s103</td> 
  </tr> 
 </tbody> 
</table>

（说明：在Zookeeper集群中，若超过半数以上服务节点不可用，才会造成整个服务不可用，所以其集群节点数一般都是至少3个节点以上的奇数个。当然，如果物理机器不够，也可以搭伪集群或者通过VM虚拟机实现，此处不再赘述）  
**2.2、下载地址**  
　　下载地址：[http://archive.apache.org/dist/zookeeper/][http_archive.apache.org_dist_zookeeper]  
　　（可选择自己需要的版本。笔者测试时，选择的是最新稳定版本3.4.12）

## 三、搭建 ##

**3.1、下载并解压**

命令：

#下载
    wget http://archive.apache.org/dist/zookeeper/stable/zookeeper-3.4.12.tar.gz
    #解压
    tar -zxvf zookeeper-3.4.12.tar.gz

（在此下载的目录是/usr/local/cndmss/zk，本文后续配置也基于这个目录） ![在这里插入图片描述][20190411215031638.png]  
**3.2、创建必要目录与文件**  
　　Zookeeper集群中，每一个节点都需创建**data**(存放数据的)目录、**dataLog**目录以及**myid**文件：![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2MjgyODY5_size_16_color_FFFFFF_t_70]  
　　（说明：**myid**文件需创建在**data**目录下，其值为后续`zoo.cfg`中配置的第几号服务器。作者在192.168.5.101机器上的**myid**文件目录为 `/usr/local/cndmss/zk/data/myid`,其值为1；在另外2台机器上myid文件的值依次分别为2、3）  
　　注意:myid文件中只需要写阿拉伯数字1 2 3 …  
　　  
**3.3、配置zoo.cfg**  
　　在Zookeeper解压包下的**conf**目录下，有一个示例配置文件`zoo_sample.cfg`，我们可以复制一份，重命名为`zoo.cfg`，并在`zoo.cfg`文件中添加我们集群的相关配置信息。  
　　![在这里插入图片描述][20190411215815334.png]  
原始默认配置文件内容： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2MjgyODY5_size_16_color_FFFFFF_t_70 1]修改后的zoo.cfg配置文件内容： ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2MjgyODY5_size_16_color_FFFFFF_t_70 2]即修改后的配置文件zoo.cfg中的有效配置内容如下：

tickTime=2000
    initLimit=10
    syncLimit=5
    clientPort=2181
    dataDir=/usr/local/cndmss/zk/data
    dataLogDir=/usr/local/cndmss/zk/dataLog
    server.1=192.168.5.101:2888:2889
    server.2=192.168.5.102:2888:2889
    server.3=192.168.5.103:2888:2889

（说明：server.X，这个X值即为集群机器中myid文件中的值；后面的IP即为集群机器的IP,后面的两个端口号依次为集群中节点交换信息的端口、重新选举Leader的通信端口）  
　　至此，配置就算基本完成了，所有Zookeeper集群中的其他机器，除了myid文件中的值不一样外，其它配置均一样。

## 四、启动Zookeeper服务并简单测试 ##

**4.1、启动服务**  
　　Zookeeper集群的启动，需要进入各个节点单独启动。进入Zookeeper的`/bin`目录下执行命令 `./zkServer.sh start`即可启动服务。然后执行命令`./zkServer.sh status`查看服务状态并可以看到当前节点是leader（主）节点还是follower（从）节点。  
　　如果启动失败，可以查看`/bin`目录下启动生成的日志文件zookeeper.out，看失败的原因是什么，然后对症下药调整。（常见的失败原因有：防火墙未关闭、配置文件未创建、数据目录未创建、myid文件未创建或创建有误等）  
　　  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2MjgyODY5_size_16_color_FFFFFF_t_70 3]  
（笔者的leader节点是192.168.5.103）  
![在这里插入图片描述][20190411220332646.png]  
命令：

#查看防火墙状态
    firewall-cmd --state
    #关闭防火墙
    systemctl stop firewalld.service

（如果你遇到的启动失败不是笔者的这个防火墙问题，莫慌，查看`zookeeper.out`日志内容，里面有详细的错误原因）

**4.2、简单测试**  
　　服务启动成功后，我们进行一下简单的测试。使用命令./zkCli.sh -server localhost登录任意一台机器，然后创建一个节点，再查询创建的节点信息。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2MjgyODY5_size_16_color_FFFFFF_t_70 4]  
（当然，还有更多的各种操作，但不是本文重点，就不再赘述了）  
　　至此，Zookeeper集群搭建就算基本完成了。如果搭建伪集群或者说单机，其基本步骤也是差不多的，细微区别就是`zoo.cfg`配置文件中的目录配置、IP、端口号不同而已。

[http_archive.apache.org_dist_zookeeper]: http://archive.apache.org/dist/zookeeper/
[20190411215031638.png]: /images/20220220/ba98554f240b4b20aeacb92daceb135d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2MjgyODY5_size_16_color_FFFFFF_t_70]: /images/20220220/1393306a8c2c4245b91d1078c6f2715e.png
[20190411215815334.png]: /images/20220220/e09dc22cccea437cb3942cdaaec7622e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2MjgyODY5_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190411215911911.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2MjgyODY5,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2MjgyODY5_size_16_color_FFFFFF_t_70 2]: /images/20220220/47d7a292e3df4ab19e343f1a922dab38.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2MjgyODY5_size_16_color_FFFFFF_t_70 3]: /images/20220220/a6f75c88beb24449b0b1e4b9e20657cf.png
[20190411220332646.png]: /images/20220220/851cc26f6d0c443f8e5ee209ec34bede.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI2MjgyODY5_size_16_color_FFFFFF_t_70 4]: /images/20220220/cf6a33a560a4410db2468a0154c40c96.png