Hadoop安装(YARN 集群)

红太狼 2022-02-28 14:22 378阅读 0赞

### 前言 ###

在前面的章节中, 我们介绍了[Hadoop 安装(单结点)][Hadoop]. 本章中,我们介绍下`Hadoop的集群安装模式`.

--------------------

### 前置条件 ###

三台VMware虚拟机, 分别为:

*  192.168.31.60
 *  192.168.31.61
 *  192.168.31.62

其主机名称分别为: `sean60/sean61/sean62`(配置本机的`/etc/hosts`与`/etc/hostname`即可.)

*  三台机器上都已经安装了`JDK 1.7+`.
 *  并且, 配置了60机器到其他两台机器的免密登陆.
 *  三台机器间防火墙关闭.

--------------------

### 正文 ###

我们选择其中一台机器作为`Master节点`, 其余作为`Slave节点`.安装架构图大致如下所示:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly95YW54bWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]  
基本配置操作步骤如下所示:

*  分发安装包,设置安装目录解压  
    下载官方安装包,并将其分别分发到三个节点上,解压. 本人使用的目录为`/opt/apps/hadoop/hadoop-2.7.5`.(后文中的安装目录代指此处.)
 *  配置环境变量  
    在三台机器上分别配置如下配置, 随后`source /etc/profile`命令使其生效.

# vi /etc/profile
    export HADOOP_HOME=/opt/apps/hadoop/hadoop-2.7.5
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export YARN_HOME=$HADOOP_HOME
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export YARN_CONF_DIR=$HADOOP_HOME/etc/Hadoop
    
    export PATH=$PATH:$HADOOP_HOME/bin

*  设置`slaves节点`  
    在`sean60`机器上设置`slaves`节点.(此设置在使用`start-dfs.sh`等启动关闭脚本时会用到.)

# salves
    sean61
    sean62

*  配置通用配置  
    三台机器中的通用配置为(配置文件为`./etc/hadoop/`目录下的文件)

# vi etc/hadoop/core-site.xml
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://sean60:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop-2.7.5/tmp</value>
        </property>
    </configuration>

# vi etc/hadoop/hdfs-site.xml
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

# vi etc/hadoop/mapred-site.xml
    <configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

*  创建目录并赋予权限

在各节点指定HDFS文件存储的位置（默认是/tmp）  
Master节点： namenode

#mkdir -p /usr/local/hadoop-2.7.0/tmp/dfs/name
    #chmod -R 777 /usr/local/hadoop-2.7.0/tmp

vi etc/hadoop/hdfs-site.xml
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:///usr/local/hadoop-2.7.0/tmp/dfs/name</value>
        </property>

Slave节点：datanode

创建目录并赋予权限

#mkdir -p /usr/local/hadoop-2.7.0/tmp/dfs/data
    #chmod -R 777 /usr/local/hadoop-2.7.0/tmp

# vi etc/hadoop/hdfs-site.xml
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:///usr/local/hadoop-2.7.0/tmp/dfs/data</value>
        </property>

*  YARN设置

Master节点： resourcemanager

# vi etc/hadoop/yarn-site.xml
    <configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>test166</value>
        </property>
    </configuration>

Slave节点： nodemanager

# vi etc/hadoop/yarn-site.xml
    <configuration>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>test166</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

*  节点格式化

# hadoop namenode -format

*  启动HDFS与YARN

sbin/start-dfs.sh
    sbin/start-yarn.sh

可以使用`start-all.sh`替代上述两个脚本.

*  测试

# 测试 HDFS
    # hdfs dfs -mkdir /user
    # hdfs dfs -mkdir /user/Sean
    # hdfs dfs -put etc/hadoop/ /user/Sean/
    # hdfs dfs -ls /user/Sean/input
    
    # 测试YARN
    hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount /user/Sean/input  output

--------------------

### Reference ###

\[1\]. [Hadoop系列之（二）：Hadoop集群部署][Hadoop_Hadoop]  
\[2\]. [Hadoop（二）CentOS7.5搭建Hadoop2.7.6完全分布式集群][Hadoop_CentOS7.5_Hadoop2.7.6]  
\[3\]. [hadoop安装和配置][hadoop]

[Hadoop]: https://yanxml.blog.csdn.net/article/details/88788572
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly95YW54bWwuYmxvZy5jc2RuLm5ldA_size_16_color_FFFFFF_t_70]: /images/20220228/7c3a5c1c5a5048dd83800c71bbe7ffe2.png
[Hadoop_Hadoop]: https://www.cnblogs.com/ee900222/p/hadoop_2.html
[Hadoop_CentOS7.5_Hadoop2.7.6]: https://www.cnblogs.com/frankdeng/p/9047698.html
[hadoop]: https://www.cnblogs.com/gyouxu/p/4183417.html