YARN集群搭建

不念不忘少年蓝@ 2023-02-12 05:56 22阅读 0赞

> 本文主要是记录集群搭建流程，具体细节较为简略

### 一、YARN简介 ###

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。

### 二、集群规划 ###

<table> 
 <thead> 
  <tr> 
   <th>主机名</th> 
   <th>作用</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>hadoop11</td> 
   <td>NameNode &amp; DataNode &amp; NodeManager</td> 
  </tr> 
  <tr> 
   <td>hadoop12</td> 
   <td>DataNode &amp; ResourceManager &amp; NodeManager</td> 
  </tr> 
  <tr> 
   <td>hadoop13</td> 
   <td>NameNode &amp; DataNode &amp; NodeManager</td> 
  </tr> 
 </tbody> 
</table>

### 三、搭建集群 ###

1.  修改主机名以及`host`映射并重启机器
2.  配置`ssh`免密登录
3.  配置`JAVA`环境变量
4.  安装Hadoop  
    (1). 修改`hadoop-env.sh`  
    (2). 修改`core-site.xml`

<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://hadoop11:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/zhangjia/hadoop-2.9.2/data</value>
        </property>
    </configuration>

(3). 修改`hdfs-site.xml`  
不需要修改，默认配置即可  
(4). 修改mapred-site.xml

<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

(5). 修改`yarn-site.xml`

<configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>hadoop12</value>
        </property>
    </configuration>

(6). 配置`slaves`文件

hadoop11
    hadoop12
    hadoop13

(7). 格式化NameNode

hdfs namenode -format

(8). 启动HDFS集群

start-dfs.sh

(9). 启动YARN集群(只可以在ResourceManager节点启动)

start-yarn.sh

(10). 可以在 http://hadoop12:8088查看当前YARN启动情况