YARN环境搭建步骤备忘

落日映苍穹つ 2022-03-28 05:19 575阅读 0赞

PS：搭建前请保证已经搭建好了HDFS的环境。

安装前后台进程：

> \[root@CentOS ~\]\# jps  
> 1427 DataNode  
> 1604 SecondaryNameNode  
> 1716 Jps  
> 1339 NameNode

### **1.修改yarn-site.xml文件** ###

如下，我的hadoop-2.6.0安装在usr目录下。因此文件**yarn-site.xml**在如下路径

> **/usr/hadoop-2.6.0/etc/hadoop/yarn-site.xml**

修改：vi命令 + 路径 + 文件名

> **\[root@CentOS ~\]\# vi /usr/hadoop-2.6.0/etc/hadoop/yarn-site.xml**

在configuration标签中加入：

> 配置信息获取位置->链接：[http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.htm][http_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-common_SingleCluster.htm]
> 
>     <property>
>         <name>yarn.nodemanager.aux-services</name>
>         <value>mapreduce_shuffle</value>
>     </property>
>     
>     <property>
>         <name>yarn.resourcemanager.hostname</name>
>         <value>CentOS</value><!-你的资源管理者的主机名,我这里是CentOS->
>     </property>

修改完毕后按一下esc，然后输入冒号，再输入wq，保存并退出

### **2.修改mapred-site.xml文件** ###

文件路径：你的hadoop安装位置 / 你的hadoop文件名 / etc / hadoop / mapred-site.xml.template

**2.1** 把模板template， **mapred-site.xml.template** 改名为：**mapred-site.xml**

修改：mv命令 + 空格 + 路径/文件名 + 空格 + 路径/**新的**文件名  如下

> **\[root@CentOS ~\]\# mv /usr/hadoop-2.6.0/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.6.0/etc/hadoop/mapred-site.xml**

**2.2** 修改**mapred-site.xml****文件**

把以上property加入**mapred-site.xml****文件**的configuration标签中

修改完毕后按一下esc，然后输入冒号，再输入wq，保存并退出

### **3.启动计算服务** ###

输入**start-yarn.sh** 开启yarn管理器

> \[root@CentOS ~\]\# start-yarn.sh  
> starting yarn daemons  
> starting resourcemanager, logging to /usr/hadoop-2.6.0/logs/yarn-root-resourcemanager-CentOS.out  
> CentOS: starting nodemanager, logging to /usr/hadoop-2.6.0/logs/yarn-root-nodemanager-CentOS.out

**安装后后台进程**对比**安装前后台进程**多了一个资源管理者**ResourceManager**和节点管理者**NodeManager**

与上图英语提示相呼应![20190109174800495.png][]

> \[root@CentOS ~\]\# jps  
> 1427 DataNode  
> 1604 SecondaryNameNode  
> 2309 Jps  
> 1339 NameNode  
> 1932 ResourceManager  
> 2013 NodeManager

ps：关闭yarn管理器命令：**stop-yarn.sh**

访问8088端口：[http://centos:8088/cluster      //这里我的linux主机名添加了centos][http_centos_8088_cluster_ _linux_centos]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NTE5MDQx_size_16_color_FFFFFF_t_70][]

[http_hadoop.apache.org_docs_stable_hadoop-project-dist_hadoop-common_SingleCluster.htm]: http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
[20190109174800495.png]: /images/20220328/8962e4e200aa4ae48d66ef05f27d61db.png
[http_centos_8088_cluster_ _linux_centos]: http://centos:8088/cluster
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzI5NTE5MDQx_size_16_color_FFFFFF_t_70]: /images/20220328/a6d8deec4749478496865fbc4f3e7681.png