[Hadoop]hadoop-yarn环境搭建(基于hadoop-2.6.5)

川长思鸟来 2021-11-22 07:36 254阅读 0赞

相关链接:  
HDFS伪分布式搭建(基于hadoop-2.6.5的单NameNode形式)  
https://blog.csdn.net/a755199443/article/details/97158845

HDFS完全分布式搭建(基于hadoop-2.6.5的单NameNode形式)  
https://blog.csdn.net/a755199443/article/details/97163768

HDFS-HA高可用完全分布式搭建(基于hadoop-2.6.5的多NameNode形式)  
https://blog.csdn.net/a755199443/article/details/97165985

### hadoop-yarn环境搭建 ###

环境背景

增加yarn模块

启动

### 环境背景 ###

请先完成hdfs-ha高可用完全分布式环境的搭建.(上面相关链接中有教程)  
各节点布置如下:

![在这里插入图片描述][20190725165249722.png]

### 增加yarn模块 ###

配置文件修改  
先在管理节点(这里选择的是node01)完成配置文件的修改,之后再分发给其他节点.  
进入hadoop的配置目录,输入命令  
cp mapred-site.xml.template mapred-site.xml  
![在这里插入图片描述][20190725191735721.png]  
编辑mapred-site.xml文件  
在conguration标签内加上

<property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
      </property>

![在这里插入图片描述][20190725191807432.png]

编辑yarn-site.xml配置文件  
在conguration标签内加上

<property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    <property>
       <name>yarn.resourcemanager.ha.enabled</name>
       <value>true</value>
     </property>
     <property>
       <name>yarn.resourcemanager.cluster-id</name>
       <value>cluster1</value>
     </property>
     <property>
       <name>yarn.resourcemanager.ha.rm-ids</name>
       <value>rm1,rm2</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm1</name>
       <value>node03</value>
     </property>
     <property>
       <name>yarn.resourcemanager.hostname.rm2</name>
       <value>node04</value>
     </property>
     <property>
       <name>yarn.resourcemanager.zk-address</name>
       <value>node02:2181,node03:2181,node04:2181</value>
     </property>

分发配置文件

scp mapred-site.xml yarn-site.xml node02:`pwd`
    scp mapred-site.xml yarn-site.xml node03:`pwd`
    scp mapred-site.xml yarn-site.xml node04:`pwd`

![在这里插入图片描述][20190725191908693.png]

### 启动 ###

启动yarn

start-yarn.sh

yarn与hdfs是不同的模块,需要分别启动

(hdfs的启动命令为)
    start-dfs.sh

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]  
启动resourcemanager  
启动hdfs和yarn之后还需要手动启动resourcemanager  
在node04输入命令

yarn-daemon.sh start resourcemanager

![在这里插入图片描述][20190725192039267.png]

检测是否成功  
在windows端(关闭linux防火墙)浏览器登录  
http://node04:8088/cluster  
![在这里插入图片描述][20190725192116673.png]  
node03也输入命令

yarn-daemon.sh start resourcemanager

可以启动resourcemanager的备份

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 1]

[20190725165249722.png]: /images/20211122/f6c60716909040eba6e09ef96203e9e8.png
[20190725191735721.png]: /images/20211122/f61a57dc802540cd839fc38b2db5e234.png
[20190725191807432.png]: /images/20211122/02325d336c23462fa94761c8a01ac168.png
[20190725191908693.png]: /images/20211122/ef740794e0f04e2491ecc16915ae1563.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70]: /images/20211122/64123d76d0154875bf2eef4c56cb8879.png
[20190725192039267.png]: /images/20211122/f93f3cd5708f462dbdbf180c8bdb86ad.png
[20190725192116673.png]: /images/20211122/200f9d394f4543419afa407af13d3ab2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2E3NTUxOTk0NDM_size_16_color_FFFFFF_t_70 1]: /images/20211122/461f3f899e6347c484e086ec8404bf6c.png