MapReduce & YARN 的部署

Love The Way You Lie 2024-03-02 08:00 70阅读 0赞

### 1、部署说明 ###

Hadoop HDFS分布式文件系统，我们会启动：

*  NameNode进程作为管理节点
 *  DataNode进程作为工作节点
 *  SecondaryNamenode作为辅助  
    ![在这里插入图片描述][3c0e9322940d45b6a34ead02b371ffca.png]  
    同理，Hadoop YARN分布式资源调度，会启动：
 *  ResourceManager进程作为管理节点
 *  NodeManager进程作为工作节点
 *  ProxyServer、JobHistoryServer这两个辅助节点  
    ![在这里插入图片描述][83578327be45442eb2f005bc6719ba95.png]

MapReduce运行在YARN容器内，无需启动独立进程。

所以关于MapReduce和YARN的部署，其实就是2件事情：

*  关于MapReduce： 修改相关配置文件，但是没有进程可以启动。
 *  关于YARN： 修改相关配置文件， 并启动ResourceManager、NodeManager进程以及辅助进程（代理服务器、历史服务器）。

![在这里插入图片描述][3acfbb58a66b46d4aa9e317ecb6894f1.png]

### 2、部署 ###

#### 2.1、MapReduce配置文件 ####

##### 2.1.1、配置mapred-env.sh文件 #####

在 $HADOOP\_HOME/etc/hadoop 文件夹内，修改mapred-env.sh文件

vim mapred-env.sh

![在这里插入图片描述][15410144c4964c9abd42186c532a9d66.png]

添加如下环境变量

## 设置jdk路径
    export JAVA_HOME=/export/server/jdk
    ## 设置JobHistoryServer进程内存为1G
    export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
    ## 设置日志级别为INF
    export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

##### 2.1.2、配置mapred-site.xml文件 #####

mapred-site.xml文件，添加如下配置信息

vim mapred-site.xml

<configuration>
      <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
        <description></description>
      </property>
    
      <property>
        <name>mapreduce.jobhistory.address</name>
        <value>bigdatanode1:10020</value>
        <description></description>
      </property>
    
    
      <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>bigdatanode1:19888</value>
        <description></description>
      </property>
    
    
      <property>
        <name>mapreduce.jobhistory.intermediate-done-dir</name>
        <value>/data/mr-history/tmp</value>
        <description></description>
      </property>
    
    
      <property>
        <name>mapreduce.jobhistory.done-dir</name>
        <value>/data/mr-history/done</value>
        <description></description>
      </property>
    	<property>
    	  <name>yarn.app.mapreduce.am.env</name>
    	  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    	</property>
    	<property>
    	  <name>mapreduce.map.env</name>
    	  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    	</property>
    	<property>
    	  <name>mapreduce.reduce.env</name>
    	  <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
    	</property>
    </configuration>

#### 2.2、YARN配置文件 ####

##### 2.2.1、配置yarn-env.sh文件 #####

在 $HADOOP\_HOME/etc/hadoop 文件夹内，修改：  
yarn-env.sh文件

vim yarn-env.sh

yarn-env.sh文件，添加如下4行环境变量内容：

export JAVA_HOME=/export/server/jdk
    export HADOOP_HOME=/export/server/hadoop
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export HADOOP_LOG_DIR=$HADOOP_HOME/logs

##### 2.2.2、配置yarn-site.xml文件 #####

yarn-site.xml文件，配置如下

<property>
        <name>yarn.log.server.url</name>
        <value>http://bigdatanode1:19888/jobhistory/logs</value>
        <description></description>
    </property>
    
      <property>
        <name>yarn.web-proxy.address</name>
        <value>bigdatanode1:8089</value>
        <description>proxy server hostname and port</description>
      </property>
    
    
      <property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
        <description>Configuration to enable or disable log aggregation</description>
      </property>
    
      <property>
        <name>yarn.nodemanager.remote-app-log-dir</name>
        <value>/tmp/logs</value>
        <description>Configuration to enable or disable log aggregation</description>
      </property>
      
      <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>bigdatanode1</value>
        <description></description>
      </property>
    
      <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
        <description></description>
      </property>
    
      <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/data/nm-local</value>
        <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
      </property>
    
    
      <property>
        <name>yarn.nodemanager.log-dirs</name>
        <value>/data/nm-log</value>
        <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
      </property>
    
    
      <property>
        <name>yarn.nodemanager.log.retain-seconds</name>
        <value>10800</value>
        <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
      </property>
    
    
    
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <description>Shuffle service that needs to be set for Map Reduce applications.</description>
      </property>

#### 2.3、分发到node2，node3节点 ####

MapReduce和YARN的配置文件修改好后，需要分发到其它的服务器节点中。

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml bigdatanode2:`pwd`/

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml bigdatanode3:`pwd`/

![在这里插入图片描述][dfb34bb8f4254d9192e1694cbe3bb7a3.png]

查看其他节点是否分发成功  
![在这里插入图片描述][885ed46ef6ab4d0aa97e164572ec8878.png]

#### 2.4、集群启动命令介绍 ####

##### 2.4.1、介绍 #####

常用的进程启动命令如下：

*  一键启动YARN集群： $HADOOP\_HOME/sbin/start-yarn.sh
    
     *  会基于yarn-site.xml中配置的yarn.resourcemanager.hostname来决定在哪台机器上启动resourcemanager
     *  会基于workers文件配置的主机启动NodeManager
 *  一键停止YARN集群： $HADOOP\_HOME/sbin/stop-yarn.sh
 *  在当前机器，单独启动或停止进程
    
     *  $HADOOP\_HOME/bin/yarn --daemon start|stop resourcemanager|nodemanager|proxyserver
     *  start和stop决定启动和停止
     *  可控制resourcemanager、nodemanager、proxyserver三种进程
 *  历史服务器启动和停止
    
     *  $HADOOP\_HOME/bin/mapred --daemon start|stop historyserver

##### 2.4.2、启动 #####

在node1服务器，以hadoop用户执行

*  首先执行

start-yarn.sh

![在这里插入图片描述][715d0f72e34a4769acf3b0601471c339.png]

*  其次执行

mapred --daemon start historyserver

![在这里插入图片描述][d1207fa1096e43a4b5b630c6091bd6f9.png]

*  一键停止

stop-yarn.sh

##### 2.4.3、查看YARN的WEB UI页面 #####

打开 http://bigdatanode1:8088 即可看到YARN集群的监控页面（ResourceManager的WEB UI）  
![在这里插入图片描述][7199ab0153c744afb09dc06247eacadd.png]

### 3、提交MapReduce任务到YARN执行 ###

#### 3.1、提交MapReduce程序至YARN运行 ####

在部署并成功启动YARN集群后，我们就可以在YARN上运行各类应用程序了。

YARN作为资源调度管控框架，其本身提供资源供许多程序运行，常见的有：

*  MapReduce程序
 *  Spark程序
 *  Flink程序

Hadoop官方内置了一些预置的MapReduce程序代码，我们无需编程，只需要通过命令即可使用。

常用的有2个MapReduce内置程序：

*  wordcount：单词计数程序。  
    统计指定文件内各个单词出现的次数。
 *  pi：求圆周率  
    通过蒙特卡罗算法（统计模拟法）求圆周率。

这些内置的示例MapReduce程序代码，都在：  
$HADOOP\_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar 这个文件内。

可以通过 hadoop jar 命令来运行它，提交MapReduce程序到YARN中。

语法： hadoop jar 程序文件 java类名 \[程序参数\] … \[程序参数\]

#### 3.2、提交wordcount示例程序 ####

##### 3.2.1、单词计数示例程序 #####

单词计数示例程序的功能很简单：

*  给定数据输入的路径（HDFS）、给定结果输出的路径（HDFS）
 *  将输入路径内的数据中的单词进行计数，将结果写到输出路径

我们可以准备一份数据文件，并上传到HDFS中。

*  创建两个文件夹

hdfs dfs -mkdir -p /input/wordcount

hdfs dfs -mkdir -p /output

![在这里插入图片描述][06fbad51a274470e802e337d889be53d.png]

*  创建一个文件，输入一些内容

vim words.txt

![在这里插入图片描述][01d57825561644a99af593d169b95b39.png]

*  上传到/input/wordcount/

hdfs dfs -put words.txt /input/wordcount/

![在这里插入图片描述][8870c2b41e824708b7f20f18af317cc8.png]

*  执行如下命令，提交示例MapReduce程序WordCount到YARN中执行

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount hdfs://bigdatanode1:8020/input/wordcount/ hdfs://bigdatanode1:8020/output/wc

![在这里插入图片描述][38a2b647f9ca48c3a4ecbde0f9fe7435.png]

*  执行完成后，可以查看HDFS上的输出结果  
    ![在这里插入图片描述][13f8f6042abf47cc97760a8407a28041.png]

hdfs dfs -cat /output/wc/part-r-00000

![在这里插入图片描述][97924f6952334c32b6b3bc680198fb10.png]

*  \_SUCCESS文件是标记文件，表示运行成功，本身是空文件
 *  part-r-00000，是结果文件，结果存储在以part开头的文件中

##### 3.2.2、查看运行日志 #####

此功能基于：

1.  配置文件中配置了日志聚合功能，并设置了历史服务器  
    ![在这里插入图片描述][741751cc625944cdb679bc66ebf0a796.png]
2.  启动了代理服务器和历史服务器
3.  历史服务器进程会将日志收集整理，形成可以查看的网页内容供我们查看。

![在这里插入图片描述][64dc1826baae4c3b9a86e37f3da8722b.png]  
![在这里插入图片描述][c9de704636544cacbd8fac4b09df31b7.png]

##### 3.2.3、提交求圆周率示例程序 #####

可以执行如下命令，使用蒙特卡罗算法模拟计算求PI（圆周率）

hadoop jar /export/server/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar pi 3 1000

*  参数pi表示要运行的Java类，这里表示运行jar包中的求pi程序
 *  参数3，表示设置几个map任务
 *  参数1000，表示模拟求PI的样本数（越大求的PI越准确，但是速度越慢）

![在这里插入图片描述][e7d3495d28e242eea08eb172341b7533.png]![在这里插入图片描述][76fa345c72a444e4811b0481be8c870e.png]  
![在这里插入图片描述][4aee11af626942dfbd2a789791c6dbc4.png]  
![在这里插入图片描述][b037157a47a847a2b9f1843eb1a66502.png]

#### 3.3、蒙特卡罗算法求PI的基础原理 ####

Monte Carlo蒙特卡罗算法（统计模拟法）

Monte Carlo算法的基本思想是： 以模拟的”实验”形式、以大量随机样本的统计形式，来得到问题的求解。  
比如，求圆周率，以数学的方式是非常复杂的，但是我们可以以简单的形式去求解：  
![在这里插入图片描述][e084325b5eb0426f994a1460f3ab4ad7.png]

示例代码

import java.util.Random;  
      
    public class MonteCarloPi {
          
        public static void main(String[] args) {
          
            int totalPoints = 1000000; // 总共投点次数  
            int insidePoints = 0; // 落在圆内的点数  
      
            Random rand = new Random();  
      
            for (int i = 0; i < totalPoints; i++) {
          
                // 在-1到1之间随机生成x, y值  
                double x = 2.0 * rand.nextDouble() - 1.0;  
                double y = 2.0 * rand.nextDouble() - 1.0;  
                  
                // 判断该点是否在单位圆内（圆心在(0, 0)，半径为1）  
                if (x * x + y * y <= 1.0) {
          
                    insidePoints++;  
                }  
            }  
      
            // 使用蒙特卡罗方法估算π的值，公式来源于圆的面积公式πr^2，这里r=1，所以π=4*(圆内点数/总点数)  
            double piEstimate = 4.0 * insidePoints / totalPoints;  
            System.out.println("π的估计值为: " + piEstimate);  
        }  
    }

结束！！！！！！！  
hy:37

--------------------

人最大的痛苦，就是无法跨越“知道”和“做到”的鸿沟。

[3c0e9322940d45b6a34ead02b371ffca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/b637fab453b74e9799e826b93458c538.png
[83578327be45442eb2f005bc6719ba95.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/645b6b8a2ecd4987a1cd1975eb536994.png
[3acfbb58a66b46d4aa9e317ecb6894f1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/e5a8f82ed96b4e62872c860c774a8119.png
[15410144c4964c9abd42186c532a9d66.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/84300e3ee8f64d0e899bc01c71d7bf86.png
[dfb34bb8f4254d9192e1694cbe3bb7a3.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/13b9ba7f775f429d82a9222bf1cd806d.png
[885ed46ef6ab4d0aa97e164572ec8878.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/5307b089582441fba54d6fa5b1646aaa.png
[715d0f72e34a4769acf3b0601471c339.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/e2b159dcb870463c830b1aa23adb915a.png
[d1207fa1096e43a4b5b630c6091bd6f9.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/4678ca7d148043bf8c7c9a0903b36c4b.png
[7199ab0153c744afb09dc06247eacadd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/44bb731673f64ec3adf697a198b4f5d2.png
[06fbad51a274470e802e337d889be53d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/cc0e80a358ea439fa6d4e766be098fcc.png
[01d57825561644a99af593d169b95b39.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/c2d379a23f0445be83d94d9a9ad5499e.png
[8870c2b41e824708b7f20f18af317cc8.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/9b47f3741d3e479b95d23501a4075771.png
[38a2b647f9ca48c3a4ecbde0f9fe7435.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/3bfe1efb209546059da2059431281e5f.png
[13f8f6042abf47cc97760a8407a28041.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/b343b5d6a109496099574e74cab2068a.png
[97924f6952334c32b6b3bc680198fb10.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/f9cb4876171e48298477ff5a2b897fac.png
[741751cc625944cdb679bc66ebf0a796.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/53938595fc7748678dcea5e1395c7799.png
[64dc1826baae4c3b9a86e37f3da8722b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/837e388a2faa4475b774da4a709c28bc.png
[c9de704636544cacbd8fac4b09df31b7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/304e740f07d64e3e98b67dee512234be.png
[e7d3495d28e242eea08eb172341b7533.png]: https://img-blog.csdnimg.cn/e7d3495d28e242eea08eb172341b7533.png
[76fa345c72a444e4811b0481be8c870e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/d304bc8d14cc4e2d966d5bb1e9f24268.png
[4aee11af626942dfbd2a789791c6dbc4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/35f54c4d93f5492ba551799f5086435c.png
[b037157a47a847a2b9f1843eb1a66502.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/8920887b91db4526bf53ed5aef8265f9.png
[e084325b5eb0426f994a1460f3ab4ad7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/02/fc38dd56daee400b8dd431f4f56f12f3.png