Hadoop集群搭建及配置⑤ —— Zookeeper 讲解及安装

╰+攻爆jí腚メ 2022-10-29 07:36 239阅读 0赞

### Zookeeper讲解及安装 ###

*   *  1.1 安装Zookeeper（master）
     *  1.2 配置文件（master）
     *  1.3 远程复制分发安装文件
     *  1.4 配置zookeeper环境变量。（三个节点）
     *  1.5 启动ZooKeeper集群（三个节点）

--------------------

[VMware虚拟机安装Linux centos7系统][VMware_Linux centos7]

[Hadoop集群搭建及配置〇 —— Hadoop组件获取 & 传输文件][Hadoop_ _ Hadoop_ _]

[Hadoop集群搭建及配置① —— 克隆节点][Hadoop_ _]

[Hadoop集群搭建及配置② —— 网络IP配置，连接网络][Hadoop_ _ _IP]

[Hadoop集群搭建及配置③ —— 基础环境搭建][Hadoop_ _ 1]

[Hadoop集群搭建及配置④ —— JDK简介及其安装][Hadoop_ _ JDK]

[Hadoop集群搭建及配置⑤ —— Zookeeper 讲解及安装][Hadoop_ _ Zookeeper]

[Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置][Hadoop_ _ Hadoop]

[Hadoop集群搭建及配置⑦—— Spark&Scala安装配置][Hadoop_ Spark_Scala]

[Hadoop集群搭建及配置⑧——Hbase的安装配置][Hadoop_Hbase]

--------------------

在集群的管理中Zookeeper起到非常重要的角色负责分布式应用程序协调的工作——它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。

Zookeeper服务自身组成一个集群(2n+1个服务允许n个失效)。Zookeeper服务有两个角色，一个是leader，负责写服务和数据同步，剩下的是follower，提供读服务，leader失效后会在follower中重新选举新的leader。

1.  客户端可以连接到每个server，每个server的数据完全相同。
2.  每个follower都和leader有连接，接受leader的数据更新操作。
3.  Server记录事务日志和快照到持久存储。
4.  大多数server可用，整体服务就可用。

产生了leader后，Zookeeper就可以开始工作了，工作的过程中，理论上每个Zookeeper的数据都是一致的，如果某一个节点出了问题，只要还有超过半数的节点正常，那整个集群就可以正常工作，所以Zookeeper首先实现了自己的高可用，然后Zookeeper还可以保存数据，协调控制数据。其角色功能如表:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]

--------------------

## 1.1 安装Zookeeper（master） ##

1.  修改主机名称到IP地址映射配置。  
    vi /etc/hosts
2.  解压zookeeper安装包

修改vi /etc/hosts
    192.168.142.128 master master.root
    192.168.142.129 slave1 slave1.root
    192.168.142.130 slave2 slave2.root
    # 保存退出
    # 创建zookeeper文件路径，并解压
    mkdir -p /usr/zookeeper
    tar -zxvf /home/master/Downloads/zookeeper-3.4.10.tar.gz -C /usr/zookeeper

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]

--------------------

## 1.2 配置文件（master） ##

进入zookeeper配置文件夹conf，将zoo\_sample.cfg文件拷贝一份命名为zoo.cfg，Zookeeper 在启动时会找这个`zoo.cfg`文件作为默认配置文件。

cd /usr/zookeeper/zookeeper-3.4.10/conf/
    ls
    scp zoo_sample.cfg	zoo.cfg
    vi zoo.cfg

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]

dataDir=/usr/zookeeper/zookeeper-3.4.10/zkdata
    
    # dataDir 为存储内存中数据库快照的位置
    dataLogDir=/usr/zookeeper/zookeeper-3.4.10/zkdatalog
    
    # 指定zookeeper产生日志村放目录路径；几个节点就几个
    server.1=master:2888:3888
    server.2=slave1:2888:3888
    server.3=slave2:2888:3888

未修改前内容：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]

修改后内容：

> server.A=B：C：D  
> A：是一个数字(机器重启默认从0开始)，表示这个是第几号服务器；  
> B：是这个服务器的ip地址，zookeeper是在hosts中映射了本机的IP，因此也可以写为服务器的映射名；  
> C：表示的是这个服务器与集群中的Leader服务器交换信息的端口；  
> D：表示的是万一集群中的Leader服务器挂了，需要一个端口来重新进行选举，选出一个新的Leader，而这个端口就是用来执行选举时服务器相互通信的端口。  
> 2888端口号是服务之间通信的端口，而3888是zookeeper与其他应用程序通信的端口。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]  
在zookeeper的目录中，创建配置中所需的zkdata和zkdatalog两个文件夹。

在cd /usr/zookeeper/zookeeper-3.4.10下
    mkdir zkdata
    mkdir zkdatalog
    cd zkdata 
    vi myid 输入 1（master）

进入zkdata文件夹，创建文件myid，用于表示是几号服务器。master主机中，设置服务器id为1  
![在这里插入图片描述][20210209171529138.png]

--------------------

## 1.3 远程复制分发安装文件 ##

以上已经在主节点master上配置完成ZooKeeper，现在可以将该配置好的安装文件远程拷贝到集群中的各个结点对应的目录下（maste输入命令）：

scp -r /usr/zookeeper root@slave1:/usr/
    scp -r /usr/zookeeper root@slave2:/usr/
    
    conf/zoo.cfg文件中配置的server.X中X为什么数字，
    则myid文件中就输入这个数字。
    cd /usr/zookeeper/zookeeper-3.4.10/zkdata
    
    修改myid 2 3
    slave1 为2
    slave2 为3

![在这里插入图片描述][20210209172333255.png]

--------------------

## 1.4 配置zookeeper环境变量。（三个节点） ##

vi /etc/profile
    
    # set zookeeper environment
    export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.10/
    PATH=$PATH:$ZOOKEEPER_HOME/bin
    
    source /etc/profile

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]

--------------------

## 1.5 启动ZooKeeper集群（三个节点） ##

在ZooKeeper集群的每个结点上，执行启动ZooKeeper服务的脚本。注意在zookeeper目录下：  
`bin/zkServer.sh start`  
`bin/zkServer.sh status`  
通过上面状态查询结果可见，一个节点是Leader，其余的结点是Follower。至此，zookeeper安装成功。

cd /usr/zookeeper/zookeeper-3.4.10（此目录下）
    
    bin/zkServer.sh start
    bin/zkServer.sh status （注意已经生效环境变量，环境变量开机重启后要手动再生效！！）
    bin/zkServer.sh stop（关闭）

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 7]  
![在这里插入图片描述][20210209173353798.png]  
![在这里插入图片描述][20210209173455927.png]  
配置完毕！！

[VMware_Linux centos7]: https://blog.csdn.net/weixin_44775255/article/details/113652758
[Hadoop_ _ Hadoop_ _]: https://blog.csdn.net/weixin_44775255/article/details/113783563
[Hadoop_ _]: https://blog.csdn.net/weixin_44775255/article/details/113754483
[Hadoop_ _ _IP]: https://blog.csdn.net/weixin_44775255/article/details/113754813
[Hadoop_ _ 1]: https://blog.csdn.net/weixin_44775255/article/details/113755997
[Hadoop_ _ JDK]: https://blog.csdn.net/weixin_44775255/article/details/113771546
[Hadoop_ _ Zookeeper]: https://blog.csdn.net/weixin_44775255/article/details/113772666
[Hadoop_ _ Hadoop]: https://blog.csdn.net/weixin_44775255/article/details/113775449
[Hadoop_ Spark_Scala]: https://blog.csdn.net/weixin_44775255/article/details/114518207
[Hadoop_Hbase]: https://blog.csdn.net/weixin_44775255/article/details/114676669
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70]: /images/20221024/53f9b7218f1a477c819f2b08b06c95ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 1]: /images/20221024/9635e4162d174a38a4327770c54ac785.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 2]: /images/20221024/83031fd2aa8c43f898c5773d0aa9637e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 3]: /images/20221024/ae91a82a46cc4c87abaf9eb514fb6ed2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 4]: /images/20221024/aeb994d9762240a4a031463e814fbfe2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 5]: /images/20221024/3440e70a6e6b4345b5e60c4ab7cc424b.png
[20210209171529138.png]: /images/20221024/ad654c177d554210bd88efcdf6974f9f.png
[20210209172333255.png]: /images/20221024/f83740783d194fbdabafdf6d5c7b6b45.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 6]: /images/20221024/4e4e2cc052914c8ba7ed960a09497a96.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NDc3NTI1NQ_size_16_color_FFFFFF_t_70 7]: /images/20221024/ab60a96c1ed34e648db9f618c82a58c9.png
[20210209173353798.png]: /images/20221024/9301b0333d21410bb16a198a04062ce7.png
[20210209173455927.png]: /images/20221024/ae0a1a19e46141189c157130d41d00cc.png