离线数仓（一）:Hadoop集群环境的搭建

àì夳堔傛蜴生んèń 2022-12-28 07:49 132阅读 0赞

### 文章目录 ###

*  一、 Hadoop 集群
 *   *  1.1 Hadoop集群安装
     *   *  1.1.1 集群部署规划
         *  1.1.2 配置集群
         *  1.1.3 启动集群
         *  1.1.4 集群基本测试
     *  1.2 Hadoop 项目经验
     *   *  1.2.1 HDFS 存储多目录
         *  1.2.2 LZO 压缩配置
         *  1.2.3 LZO 创建索引
         *  1.2.4 基准测试
         *  1.2.5 Hadoop 参数调优
 *  二、ZooKeeper集群安装

> 虚机的搭建以及基础环境的部署参考：`https://hucheng.blog.csdn.net/article/details/102719750`，此次使用的`Hadoop`版本为`3.1.3`

# 一、 Hadoop 集群 #

## 1.1 Hadoop集群安装 ##

### 1.1.1 集群部署规划 ###

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>hadoop100</th> 
   <th>hadoop101</th> 
   <th>hadoop102</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HDFS</td> 
   <td>NameNode DataNode</td> 
   <td>DataNode</td> 
   <td>SecondaryNameNode DataNode</td> 
  </tr> 
  <tr> 
   <td>YARN</td> 
   <td>NodeManager</td> 
   <td>ResourceManager NodeManager</td> 
   <td>NodeManager</td> 
  </tr> 
 </tbody> 
</table>

### 1.1.2 配置集群 ###

**① 核心配置文件**

配置`core-site.xml`

<property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop100:8020</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/opt/module/hadoop-3.1.3/data</value>
        </property>

**② HDFS 配置文件**

配置`hdfs-site.xml`

<property>
            <name>dfs.namenode.secondary.http-address</name>
            <value>hadoop102:9868</value>
        </property>
    	
    	<property>
    		<name>dfs.replication</name>
    		<value>1</value>
    	</property>

**③ YARN 配置文件**

配置 `yarn-site.xml`

<property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop101</value>
        </property>
        <property>
            <name>yarn.nodemanager.env-whitelist</name>
            <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
        </property>
        <property>
            <name>yarn.scheduler.minimum-allocation-mb</name>
            <value>512</value>
        </property>
        <property>
            <name>yarn.scheduler.maximum-allocation-mb</name>
            <value>4096</value>
        </property>
        <property>
            <name>yarn.nodemanager.resource.memory-mb</name>
            <value>4096</value>
        </property>
        <property>
            <name>yarn.nodemanager.pmem-check-enabled</name>
            <value>false</value>
        </property>
        <property>
            <name>yarn.nodemanager.vmem-check-enabled</name>
            <value>false</value>
        </property>

**④ MapReduce 配置文件**

配置`mapred-site.xml`

<property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>

**⑤ 配置 workers（原slaves）**

[root@hadoop100 ~]# vim /opt/module/hadoop-3.1.3/etc/hadoop/workers
    hadoop100
    hadoop101
    hadoop102

**⑥ 修改启动文件**  
在`start-dfs.sh`、`stop-dfs.sh`头部添加:

HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root

在`start-yarn.sh`、`stop-yarn.sh`头部添加:

YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root

### 1.1.3 启动集群 ###

**① 如果集群是第一次启动，需要在 Hadoop100 节点格式化 NameNode**

[root@hadoop100 hadoop-3.1.3]$ bin/hdfs namenode -format

**② 启动 HDFS**

[root@hadoop100 hadoop-3.1.3]$ sbin/start-dfs.sh

**③ 启动 YARN**

[root@hadoop101 hadoop-3.1.3]$ sbin/start-yarn.sh

**④ Web 端查看 HDFS 的 Web 页面：**

`http://hadoop100:9870/`  
![在这里插入图片描述][20201215204249738.png]

### 1.1.4 集群基本测试 ###

**① 上传文件到集群**

[root@hadoop102 ~]# hadoop fs -mkdir -p /user/root/input
    
    [root@hadoop102 ~]# hadoop fs -put ./test.txt /user/root/input

**②下载**

[root@hadoop102 ~]# bin/hadoop fs -get /user/root/input ./

**③ 执行 wordcount 程序**

[root@hadoop102 hadoop-3.1.3]#hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar \
    wordcount /user/root/input /user/root/output

> Hadoop3.0的HDFS Web页面提供更多的操作，例如文件预览等等…  
> ![在这里插入图片描述][20201215210111505.png]

## 1.2 Hadoop 项目经验 ##

### 1.2.1 HDFS 存储多目录 ###

若`HDFS`存储空间紧张，需要对`DataNode`进行磁盘扩展。

**① 在 DataNode 节点增加磁盘并进行挂载**  
![在这里插入图片描述][20201218150903738.png]  
**② 在 hdfs-site.xml 文件中配置多目录，注意新挂载磁盘的访问权限问题**

<property>
        <name>dfs.datanode.data.dir</name>
    	<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,
    		file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
    </property>

**③ 增加磁盘后，保证每个目录数据均衡**

开启数据均衡命令：`bin/start-balancer.sh –threshold 10`；

对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。

停止数据均衡命令：`bin/stop-balancer.sh`

### 1.2.2 LZO 压缩配置 ###

`Hadoop`本身并不支持`LZO`压缩，故需要使用`twitter`提供的`hadoop-lzo`开源组件。`hadoop-lzo`需依赖`hadoop`和`lzo`进行编译，将编译好后的`hadoop-lzo-0.4.20.jar`放入`hadoop-3.1.3/share/hadoop/common/`

**① core-site.xml 增加配置支持 LZO 压缩**

<property>
    	<name>io.compression.codecs</name>
    	<value>
    		org.apache.hadoop.io.compress.GzipCodec,
    		org.apache.hadoop.io.compress.DefaultCodec,
    		org.apache.hadoop.io.compress.BZip2Codec,
    		org.apache.hadoop.io.compress.SnappyCodec,
    		com.hadoop.compression.lzo.LzoCodec,
    		com.hadoop.compression.lzo.LzopCodec
    	</value>
    </property>
    
    <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
    </property>

**② 同步 hadoop-lzo-0.4.20.jar 和 core-site.xml 至其他集群节点**

**③ 重启集群**

### 1.2.3 LZO 创建索引 ###

`LZO`压缩文件的可切片特性依赖于其索引，故我们需要手动为`LZO`压缩文件创建索引。若无索引，则`LZO`文件的切片只有一个。

**① 将 bigtable.lzo（150M）上传到集群的根目录**

[root@hadoop100 module]# hadoop fs -mkdir /input
    [root@hadoop100 module]# hadoop fs -put bigtable.lzo /input

**② 执行 wordcount 程序**

[root@hadoop100 hadoop-3.1.3]# share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar \
    wordcount /input /output2

![在这里插入图片描述][20201218155610725.png]  
**③ 对上传的 LZO 文件建索引**

[root@hadoop100 common]# hadoop jar hadoop-lzo-0.4.20.jar \
    com.hadoop.compression.lzo.Dist ributedLzoIndexer /input/bigtable.lzo

**④ 再次执行 wordcount 程序**

[root@hadoop100 hadoop-3.1.3]# share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar \
    wordcount /input /output2

![⑤][20201218155838331.png]

### 1.2.4 基准测试 ###

**① 测试 HDFS 写性能**

测试内容：向`HDFS`集群写10个128M的文件

[root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar \
    TestDFSIO -write -nrFiles 10 -fileSize 128MB
    
    2020-04-16 13:41:24,724 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
    2020-04-16 13:41:24,724 INFO fs.TestDFSIO:             Date & time: Thu Apr 16 13:41:24 CST 2020
    2020-04-16 13:41:24,724 INFO fs.TestDFSIO:         Number of files: 10
    2020-04-16 13:41:24,725 INFO fs.TestDFSIO:  Total MBytes processed: 1280
    2020-04-16 13:41:24,725 INFO fs.TestDFSIO:       Throughput mb/sec: 8.88
    2020-04-16 13:41:24,725 INFO fs.TestDFSIO:  Average IO rate mb/sec: 8.96
    2020-04-16 13:41:24,725 INFO fs.TestDFSIO:   IO rate std deviation: 0.87
    2020-04-16 13:41:24,725 INFO fs.TestDFSIO:      Test exec time sec: 67.61

**② 测试 HDFS 读性能**

测试内容：读取`HDFS`集群10个128M的文件

[root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar \
    TestDFSIO -read -nrFiles 10 -fileSize 128MB
    
    2020-04-16 13:43:38,857 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
    2020-04-16 13:43:38,858 INFO fs.TestDFSIO:   Date & time: Thu Apr 16 13:43:38 CST 2020
    2020-04-16 13:43:38,859 INFO fs.TestDFSIO:         Number of files: 10
    2020-04-16 13:43:38,859 INFO fs.TestDFSIO:  Total MBytes processed: 1280
    2020-04-16 13:43:38,859 INFO fs.TestDFSIO:       Throughput mb/sec: 85.54
    2020-04-16 13:43:38,860 INFO fs.TestDFSIO:  Average IO rate mb/sec: 100.21
    2020-04-16 13:43:38,860 INFO fs.TestDFSIO:   IO rate std deviation: 44.37
    2020-04-16 13:43:38,860 INFO fs.TestDFSIO:      Test exec time sec: 53.61

**③ 删除测试生成数据**

[root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar \
    TestDFSIO -clean

**④ 使用 Sort 程序评测 MapReduce**

1、使用`RandomWriter`来产生随机数，每个节点运行10个`Map`任务，每个`Map`产生大约1G大小的二进制随机数

[root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar \
    randomwriter random-data

2、执行`Sort`程序

[root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar \
    sort random-data sorted-data

3、验证数据是否真正排好序了

[root@hadoop100 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.1.3-tests.jar \
    testmapredsort -sortInput random-data -sortOutput sorted-data

### 1.2.5 Hadoop 参数调优 ###

**① HDFS 参数调优 hdfs-site.xml**

`dfs.namenode.handler.count=20 * log2(Cluster Size)`，比如集群规模为8台时，此参数设置为60

> The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.  
> NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。设置该值的一般原则是将其设置为集群大小的自然对数乘以20，即20logN，N为集群大小。

**② YARN 参数调优 yarn-site.xml**

【情景描述】：总共7台机器，每天几亿条数据，数据源->`Flume`\->`Kafka`\->`HDFS`\->`Hive`

【面临问题】：数据统计主要用`HiveSQL`，没有数据倾斜，小文件已经做了合并处理，开启的`JVM`重用，而且`IO`没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。

【解决办法】：内存利用率不够。这个一般是`Yarn`的2个配置造成的，单个任务可以申请的最大内存大小，和`Hadoop`单个节点可用内存大小。调节这两个参数能提高系统内存的利用率。

*  yarn.nodemanager.resource.memory-mb：表示该节点上`YARN`可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而`YARN`不会智能的探测节点的物理内存总量。
 *  yarn.scheduler.maximum-allocation-mb：单个任务可申请的最多物理内存量，默认是8192（MB）。

**③ Hadoop 宕机**

*  如果`MR`造成系统宕机。此时要控制`Yarn`同时运行的任务数，和每个任务申请的最大内存。调整参数：`yarn.scheduler.maximum-allocation-mb`（单个任务可申请的最多物理内存量，默认是8192MB）
 *  如果写入文件过量造成`NameNode`宕机。那么调高`Kafka`的存储大小，控制从`Kafka`到`HDFS`的写入速度。高峰期的时候用`Kafka`进行缓存，高峰期过去数据同步会自动跟上。

# 二、ZooKeeper集群安装 #

**① 集群规划**：在`hadoop100`、`hadoop101`和`hadoop102`三个节点上部署`Zookeeper`。

**② 解压安装**

[root@hadoop100 software]# tar -zxvf zookeeper-3.5.7.tar.gz -C /opt/module/

**③ 配置服务器编号**

[root@hadoop100 zookeeper-3.5.7]# mkdir zkData && cd zkData
    
    [root@hadoop100 zkData]# vim myid
    0

**④ 配置 zoo.cfg 文件**

[root@hadoop100 conf]# mv zoo_sample.cfg zoo.cfg
    
    [root@hadoop100 conf]# vim zoo.cfg
    dataDir=/opt/module/zookeeper-3.5.7/zkData
    server.0=hadoop100:2888:3888
    server.1=hadoop101:2888:3888
    server.2=hadoop102:2888:3888

配置参数解析：`server.A=B:C:D`

*  `A`是一个数字，表示这个是第几号服务器
 *  `B`是这个服务器的地址
 *  `C`是这个服务器`Follower`与集群中的`Leader`服务器交换信息的端口
 *  `D`是万一集群中的`Leader`服务器挂了，需要一个端口来重新进行选举，选出一个新的`Leader`，而这个端口就是用来执行选举时服务器相互通信的端口

**⑤ 群起脚本**

#!/bin/bash
    
    case $1 in
    "start"){ 
        for i in hadoop100 hadoop101 hadoop102
        do
            echo "------------- $i -------------"
            ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
        done 
    };;
    "stop"){ 
        for i in hadoop100 hadoop101 hadoop102
        do
            echo "------------- $i -------------"
            ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
        done
    };;
    "status"){ 
        for i in hadoop100 hadoop101 hadoop102
        do
            echo "------------- $i -------------"
            ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
        done
    };;
    esac

[20201215204249738.png]: /images/20221120/a1d455c0244745b6acea51e8b85818d2.png
[20201215210111505.png]: /images/20221120/a15774a2766f48188a5a00ab263aafa0.png
[20201218150903738.png]: /images/20221120/0c88709499d940a99c21f0084dcc0305.png
[20201218155610725.png]: /images/20221120/d12cbf6e64d44589b96b01ecb35b0a83.png
[20201218155838331.png]: /images/20221120/c58452c725c2402d99e0c0e247b3dc9d.png