大数据技术之Hadoop：Yarn集群部署（七）

╰半橙微兮° 2024-03-04 07:15 114阅读 0赞

**目录**

一、部署说明

二、集群规划

三、开始配置

3.1 MapReduce配置文件

3.2 YARN配置文件

3.3 分发配置文件

四、集群启停

4.1 命令介绍

4.2 演示

4.3 查看YARN的WEB UI页面

--------------------

## 一、部署说明 ##

Hadoop HDFS分布式文件系统，我们会启动：

*  NameNode进程作为管理节点
 *  DataNode进程作为工作节点
 *  SecondaryNamenode作为辅助

同理，Hadoop YARN分布式资源调度，会启动：

*  ResourceManager进程作为管理节点
 *  NodeManager进程作为工作节点
 *  ProxyServer、JobHistoryServer这两个辅助节点

那么，MapReduce呢？

MapReduce运行在YARN容器内，无需启动独立进程

所以关于MapReduce和YARN的部署，其实就是2件事情：

关于MapReduce： 修改相关配置文件，但是没有进程可以启动

关于YARN： 修改相关配置文件， 并启动ResourceManager、NodeManager进程以及辅助进程（代理服务器、历史服务器）

> 总结

<table> 
 <tbody> 
 <tr> 
 <td style="background-color:#4472c4;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:203pt;"> 组件 </td> 
 <td style="background-color:#4472c4;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:105pt;"> 配置文件 </td> 
 <td style="background-color:#4472c4;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:312pt;"> 启动进程 </td> 
 <td style="background-color:#4472c4;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:144pt;"> 备注 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:203pt;"> Hadoop HDFS </td> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:105pt;"> 需修改 </td> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;vertical-align:middle;width:312pt;"> 需启动 
 <div style="margin-left:.31in;text-align:left;"> 
 NameNode 
 作为主节点 
 </div> 
 <div style="margin-left:.31in;text-align:left;"> 
 DataNode 
 作为从节点 
 </div> 
 <div style="margin-left:.31in;text-align:left;"> 
 SecondaryNameNode 
 主节点辅助 
 </div> </td> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:144pt;"> 分布式文件系统 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#e9ebf5;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:203pt;"> Hadoop YARN </td> 
 <td style="background-color:#e9ebf5;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:105pt;"> 需修改 </td> 
 <td style="background-color:#e9ebf5;border-color:#FFFFFF;vertical-align:middle;width:312pt;"> 需启动 
 <div style="margin-left:.31in;text-align:left;"> 
 ResourceManager 
 作为集群资源管理者 
 </div> 
 <div style="margin-left:.31in;text-align:left;"> 
 NodeManager 
 作为单机资源管理者 
 </div> 
 <div style="margin-left:.31in;text-align:left;"> 
 ProxyServer 
 代理服务器提供安全性 
 </div> 
 <div style="margin-left:.31in;text-align:left;"> 
 JobHistoryServer 
 记录历史信息和日志 
 </div> </td> 
 <td style="background-color:#e9ebf5;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:144pt;"> 分布式资源调度 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:203pt;"> Hadoop MapReduce </td> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:105pt;"> 需修改 </td> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;vertical-align:middle;width:312pt;"> 无需启动任何进程 MapReduce程序运行在YARN容器内 </td> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;text-align:center;vertical-align:middle;width:144pt;"> 分布式数据计算 </td> 
 </tr> 
 </tbody> 
</table>

## 二、集群规划 ##

有3台服务器，其中node1配置较高

集群规划如下：

<table> 
 <tbody> 
 <tr> 
 <td style="background-color:#4472c4;border-color:#FFFFFF;vertical-align:top;width:195px;"> 主机 </td> 
 <td style="background-color:#4472c4;border-color:#FFFFFF;vertical-align:top;width:654px;"> 角色 </td> 
 </tr> 
 <tr> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;vertical-align:top;width:195px;"> centos100 </td> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;vertical-align:top;width:654px;"> ResourceManager NodeManager ProxyServer JobHistoryServer </td> 
 </tr> 
 <tr> 
 <td style="background-color:#e9ebf5;border-color:#FFFFFF;text-align:center;vertical-align:top;width:195px;">centos101</td> 
 <td style="background-color:#e9ebf5;border-color:#FFFFFF;vertical-align:top;width:654px;"> NodeManager </td> 
 </tr> 
 <tr> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;text-align:center;vertical-align:top;width:195px;">centos102</td> 
 <td style="background-color:#cfd5ea;border-color:#FFFFFF;vertical-align:top;width:654px;"> NodeManager </td> 
 </tr> 
 </tbody> 
</table>

## 三、开始配置 ##

### 3.1 MapReduce配置文件 ###

在 $HADOOP\_HOME/etc/hadoop 文件夹内，修改：

> **mapred-env.sh**文件，添加如下环境变量

# 设置JDK路径
    export JAVA_HOME=/opt/software/jdk/jdk1.8.0_202
    # 设置JobHistoryServer进程内存为1G
    export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
    # 设置日志级别为INFO
    export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

![8c7e7fe4d4694b7a9e57aa6f94af76fb.png][]

![610d6f2486d845f0ba9c08c3fc105d88.png][]

> **mapred-site.xml**文件，添加如下配置信息

<configuration>
 <property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
 <description>MapReduce的运行框架设置为YARN</description>
 </property>
 
 <property>
 <name>mapreduce.jobhistory.address</name>
 <value>centos100:10020</value>
 <description>历史服务器通讯端口为centos100:10020</description>
 </property>
 
 <property>
 <name>mapreduce.jobhistory.webapp.address</name>
 <value>centos100:19888</value>
 <description>历史服务器web端口为centos100的19888</description>
 </property>
 
 
 <property>
 <name>mapreduce.jobhistory.intermediate-done-dir</name>
 <value>/data/mr-history/tmp</value>
 <description>历史信息在HDFS的记录临时路径</description>
 </property>
 
 
 <property>
 <name>mapreduce.jobhistory.done-dir</name>
 <value>/data/mr-history/done</value>
 <description>历史信息在HDFS的记录路径</description>
 </property>
 
 <property>
 <name>yarn.app.mapreduce.am.env</name>
 <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
 <description>MapReduce HOME 设置为HADOOP_HOME</description>
 </property>
 
 <property>
 <name>mapreduce.map.env</name>
 <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
 <description>MapReduce HOME 设置为HADOOP_HOME</description>
 </property>
 
 <property>
 <name>mapreduce.reduce.env</name>
 <value>HADOOP_MAPRED_HOME=%HADOOP_HOME</value>
 <description>MapReduce HOME 设置为HADOOP_HOME</description>
 </property>
 
 </configuration>

![fc1c98ee980a4c5ba4976c91b6ff75a5.png][]

### 3.2 **YARN****配置文件** ###

在 $HADOOP\_HOME/etc/hadoop 文件夹内，修改：

> **yarn-env.sh**文件，添加如下4行环境变量内容：

# 设置JDK路径的环境变量
    export JAVA_HOME=/opt/software/jdk/jdk1.8.0_202
    # 设置HADOOP_HOME的环境变量
    export HADOOP_HOME=/opt/software/hadoop/hadoop-3.3.4
    # 设置配置文件路径的环境变量
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    # 设置日志文件路径的环境变量
    export HADOOP_LOG_DIR=$HADOOP_HOME/logs

![f4f901b3f5e04ac490991c06faa5a9ea.png][]

> **yarn-site.xml**文件，配置如下

<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>centos100</value>
 <description>ResourceMangager设置在centos100节点</description>
 </property>
 
 <property>
 <name>yarn.nodemanager.local-dirs</name>
 <value>/data/nm-local</value>
 <description>NodeManager中间数据本地存储路径</description>
 </property>
 
 <property>
 <name>yarn.nodemanager.log-dirs</name>
 <value>/data/nm-log</value>
 <description>NodeManager数据日志本地存储路径</description>
 </property>
 
 <property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
 <description>为MapReduce程序开启Shuffle服务</description>
 </property>
 
 
 
 <property>
 <name>yarn.log.server.url</name>
 <value>http://centos100:19888/jobhistory/logs</value>
 <description>历史服务器URL</description>
 </property>
 
 <property>
 <name>yarn.web-proxy.address</name>
 <value>centos100:8089</value>
 <description>代理服务器主机和端口</description>
 </property>
 
 <property>
 <name>yarn.log-aggregation-enable</name>
 <value>true</value>
 <description>开启日志聚合</description>
 </property>
 
 <property>
 <name>yarn.nodemanager.remote-app-log-dir</name>
 <value>/tmp/logs</value>
 <description>程序日志HDFS的存储路径</description>
 </property>
 
 <property>
 <name>yarn.resoucemanager.scheduler.class</name>
 <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
 <description>选择公平调度器</description>
 </property>

![971e2ab7e81347819078d9aa5e0736a1.png][]

### 3.3 **分发配置文件** ###

MapReduce和YARN的配置文件修改好后，需要分发到其它的服务器节点中。

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml centos101:`pwd`/
    scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml centos102:`pwd`/

![ed4a4d0d47ff4f2bb1bda6ce6fa2591c.png][]

分发完成配置文件，就可以启动YARN的相关进程啦。

（ps：分发完成也可以去其他服务器检查一下是否成功！）

##  ##

## 四、集群启停 ##

### 4.1 命令介绍 ###

常用的进程启动命令如下：

> 一键启动YARN集群： $HADOOP\_HOME/sbin/**start-yarn.sh**

*  会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager
 *  会基于workers文件配置的主机启动NodeManager

> 一键停止YARN集群： $HADOOP\_HOME/sbin/**stop-yarn.sh**

> 在当前机器，单独启动或停止进程
> 
> $HADOOP\_HOME/bin/yarn --daemon start|stop resourcemanager|nodemanager|proxyserver

*  start和stop决定启动和停止
 *  可控制resourcemanager、nodemanager、proxyserver三种进程

> 历史服务器启动和停止
> 
> $HADOOP\_HOME/bin/mapred --daemon start|stop historyserver

###  ###

### 4.2 演示 ###

下面开始演示：

在centos100服务器，以hadoop用户执行

首先执行：$HADOOP\_HOME/sbin/start-yarn.sh，一键启动所需的:

*  ResourceManager
 *  NodeManager
 *  ProxyServer（代理服务器）
 *  ![6c488fccbb264ce1b4f3bb5d4fe204e7.png][]

其次执行：$HADOOP\_HOME/bin/mapred \--daemon start historyserver 启动:

HistoryServer（历史服务器）

![8f72b1954de54bc8b4bba76bcdb72e42.png][]

### 4.3 **查看****YARN****的****WEB UI****页面** ###

打开 http://centos100:8088 即可看到YARN集群的监控页面（ResourceManager的WEB UI）

![807a74264cc24de085e11f084f3a649b.png][]

最后别忘记了给虚拟机打上快照哦！

[8c7e7fe4d4694b7a9e57aa6f94af76fb.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/3395d1fb339d47c8b6c9fd97a86b71a8.png
[610d6f2486d845f0ba9c08c3fc105d88.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/309ca1c0782244a0915d3f67baee50f8.png
[fc1c98ee980a4c5ba4976c91b6ff75a5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/d52050993c5d4dc9924b53346c4a8b4b.png
[f4f901b3f5e04ac490991c06faa5a9ea.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/9dff03d92a254b199efb8e96ac7cbe6b.png
[971e2ab7e81347819078d9aa5e0736a1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/929cc6e2223444d2a9a969a6c8130bff.png
[ed4a4d0d47ff4f2bb1bda6ce6fa2591c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/a1afa7721dd5474ca7f32d74ef6d91e3.png
[6c488fccbb264ce1b4f3bb5d4fe204e7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/0dc4d24f6a7b42ce8e42b2eed44aaeac.png
[8f72b1954de54bc8b4bba76bcdb72e42.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/2f8d77dde4534f38904e73e23fe1c451.png
[807a74264cc24de085e11f084f3a649b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/04/85d4bfcd048e4e4f9742da8c1aa088af.png