VMware+CentOS7.0+Hadoop2.6.5完全分布式搭建

忘是亡心i 2021-11-30 00:30 254阅读 0赞

由于工作需要，最近自己搭建了一个虚拟机，并且在虚拟机上搭建了一个Hadoop集群用于测试。

# 一、虚拟机搭建，并设置IP #

虚拟机搭建比较简单不再介绍，其中网络配置参考《[VMware中CentOS 7设置固定IP同时连接内外网，网络配置！！！][VMware_CentOS 7_IP]》

# 二、设置主机名 #

下面以master节点为例，修改服务器的主机名。集群部署规划如下：

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>master/192.168.44.3</th> 
   <th>slave1/192.168.44.4</th> 
   <th>slave2/192.168.44.5</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>HDFS</td> 
   <td>NameNode</td> 
   <td>SecondaryNameNode,DataNode</td> 
   <td>DataNode</td> 
  </tr> 
  <tr> 
   <td>YARN</td> 
   <td>ResourceManager</td> 
   <td>NodeManager</td> 
   <td>NodeManager</td> 
  </tr> 
 </tbody> 
</table>

### 2.1 修改/etc/sysconfig/network文件，设置主机名 ###

# Created by anaconda
    NETWORKING=yes
    HOSTNAME=master

### 2.2 修改/etc/hostname文件，设置主机名 ###

master

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70]

如上图所示，进行设置。设置后将服务器进行重启，而后调用hostname命令查看主机名称。  
![在这里插入图片描述][20190722223921723.jpg]

### 2.3 配置/etc/hosts，添加如下内容 ###

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    192.168.44.3 master
    192.168.44.4 slave1
    192.168.44.5 slave2

![在这里插入图片描述][20190722225006686.jpg]

# 三、设置hadoop用户 #

### 3.1 创建hadoop用户 ###

useradd hadoop

### 3.2 添加hadoop用户的密码 ###

passwd hadoop

![在这里插入图片描述][20190722224203420.jpg]

### 3.3 调用visudo命令，为hadoop用户添加sudo权限，中间以\\tab分割 ###

root	ALL=(ALL) 	ALL
    hadoop	ALL=(ALL)	ALL

![在这里插入图片描述][20190722225911531.jpg]

# 四、配置SSH免密登录 #

由于打算把hadoop装在hadoop用户下，因此需要进入hadoop用户配置免密登录。

### 4.1 在每个节点上执行ssh-keygen -t rsa命令，在~/.ssh目录下将会生成公私钥 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 1]

### 4.2 将生成的id\_rsa.pub文件的内容复制到authorized\_keys中。同时将三台节点上的id\_rsa.pub都复制到authorized\_keys中，并分发到三个节点。 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 2]

### 4.3 调用chmod 644 authorized\_keys命令，修改authorized\_keys文件的权限。 ###

### 4.4 调用ssh slave2命令测试 ###

![在这里插入图片描述][20190722231414640.jpg]

### 4.5 调用systemctl stop firewald.service命令，分别关闭三个节点的防火墙。 ###

由于是在自己的电脑上安装的虚拟机，每天都要关机重启，需要把防火墙设置为永久关闭，因此需要调用如下命令：

systemctl disable firewald.service

# 五、安装JDK #

参考《[虚拟机（VMware14）内CentOS7安装jdk][VMware14_CentOS7_jdk]》

# 六、安装Hadoop #

### 6.1 下载安装包，并解压 ###

[下载地址][Link 1]  
       本人在opt目录下新建一个hadoop文件夹用于程序安装。调用如下命令，解压文件

tar -zxvf hadoop-2.6.5.tar.gz

### 6.2 配置/etc/profile ###

export HADOOP_HOME=/opt/hadoop/hadoop-2.6.5
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

![在这里插入图片描述][20190722232426438.jpg]

### 6.3 配置hadoop-env.sh、mapred-env.sh、yarn-env.sh，添加jdk路径 ###

export JAVA_HOME=/opt/java/jdk1.8.0_221

### 6.4 配置core-site.xml ###

<configuration>
        <property>
            <name>fs.defaultFS</name>
            
            <value>hdfs://master:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            
            <value>/opt/hadoop/hadoop-2.6.5/data/tmp</value>
        </property>
    </configuration>

### 6.5 配置hdfs-site.xml ###

<configuration>
        <property>
            <name>dfs.namenode.http-address</name>
            
            <value>master:50070</value>
        </property>
        <property>
            <name>dfs.namenode.secondary.http-address</name>
                
            <value>slave1:50090</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>/opt/hadoop/hadoop-2.6.5/data/name</value>
        </property>
        <property>
            <name>dfs.replication</name>
            
            <value>2</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>/opt/hadoop/hadoop-2.6.5/data/data</value>
        </property>
    </configuration>

### 6.6 配置yarn-site.xml ###

<configuration>
    
    
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>

### 6.7 配置mapred-site.xml ###

<configuration>
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
    </configuration>

### 6.8 配置slaves，配置DataNode ###

slave1
    slave2

### 6.9 增加masters，配置SecondaryNameNode ###

slave1

### 6.10 格式化NameNode ###

hdfs namenode -format

### 6.11 启动集群 ###

start-all.sh

### 6.12 调用jps查看进程 ###

![在这里插入图片描述][20190722234357222.jpg]

### 6.13 浏览器输入http://192.168.44.3:50070查看网页 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 3]

### 6.14 浏览器输入http://192.168.44.3:8088查看网页 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 4]

[VMware_CentOS 7_IP]: https://blog.csdn.net/java_zyq/article/details/78280904
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70]: /images/20211129/dc7ea3ea96e04ecb997c691610f86dd1.png
[20190722223921723.jpg]: /images/20211129/7053a313fd27482bb30d998911244a1c.png
[20190722225006686.jpg]: /images/20211129/d98c54943ed64fc8bceb9fb3ee3a158e.png
[20190722224203420.jpg]: /images/20211129/2fb800c9724f4285ad9159c5bd689f07.png
[20190722225911531.jpg]: /images/20211129/a89247251d6b4a62b0cfaf49fab6adcd.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 1]: /images/20211129/05c2d4e4ff524ca985a02dd8beb5fb0d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 2]: /images/20211129/eb1c19d9948e45b0bde7d76c82624150.png
[20190722231414640.jpg]: /images/20211129/aa3fb9b46dd9480384e8468622cf69b9.png
[VMware14_CentOS7_jdk]: https://blog.csdn.net/fenghuibian/article/details/96700585
[Link 1]: http://archive.apache.org/dist/hadoop/core/
[20190722232426438.jpg]: /images/20211129/cb60f9fe27ad4da2b41741ee6af2d94e.png
[20190722234357222.jpg]: /images/20211129/03d46d9502db499ba5aad1f58c74ef90.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 3]: /images/20211129/597628a213b443a8afc54fdeb388405d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2ZlbmdodWliaWFu_size_16_color_FFFFFF_t_70 4]: /images/20211129/5adf4e069c8f4c06b7adc5b3ce69140a.png