hadoop-3.2.1伪分布集群安装

Myth丶恋晨 2023-02-13 11:18 7阅读 0赞

准备环境：  
一台虚拟机（centos7）  
ip:192.168.8.124  
hostname:hadoop124

## 一、前提环境准备 ##

1.设置静态ip  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw_size_16_color_FFFFFF_t_70]  
设置好后，需要重启网络

service network restart

2.设置主机名  
临时设置主机名  
![在这里插入图片描述][2020052817112793.png]  
永久设置主机名  
![在这里插入图片描述][20200528171153243.png]  
3.hosts文件配置  
![在这里插入图片描述][20200528171300633.png]  
4.关闭防火墙  
注意，centos6跟centos7命令不同  
临时关闭防火墙

systemctl stop firewalld

永久关闭防火墙

systemctl disable firewalld

5.ssh免密码登录

ssh-keygen -t rsa
    #向本机复制公钥
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

验证  
第一次需要输入yes，后续就不用了

ssh hadoop124

6.jdk的安装，略，我在虚拟机上安装的是jdk1.8  
![在这里插入图片描述][20200528171738570.png]

## 二、正式安装伪分布集群 ##

上面的工作都是前提环境搭建。  
官网下载hadoop3.2.1,我解压到了/data/soft/目录，需要配置一个环境变量  
![在这里插入图片描述][20200528171945175.png]  
修改环境变量需要执行source /etc/profile让环境变量生效  
1.修改hadoop相关配置文件

[root@hadoop124 ~]# cd /data/soft/hadoop-3.2.1/etc/hadoop/
    [root@hadoop124 hadoop]# vi core-site.xml

<configuration> 
    	<property> 
    		<name>fs.defaultFS</name> 
    		<value>hdfs://hadoop124:9000</value> 
    	</property> 
    	<property> 
    		<name>hadoop.tmp.dir</name> 
    		<value>/data/hadoop_repo</value> 
    	</property> 
    </configuration>

[root@hadoop124 hadoop]# vi hdfs-site.xml

<configuration>
            <property>
                    <name>dfs.replication</name>
                    <value>1</value>
            </property>
    </configuration>

[root@hadoop124 hadoop]# vi mapred-site.xml

<configuration>
            <property>
                    <name>mapreduce.framework.name</name>
                    <value>yarn</value>
            </property>
    </configuration>

[root@hadoop124 hadoop]# vi yarn-site.xml

<configuration>
    	<property> 
    		<name>yarn.nodemanager.aux-services</name>
    		<value>mapreduce_shuffle</value> 
    	</property> 
    	<property> 
    		<name>yarn.nodemanager.env-whitelist</name> 
    		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CL ASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value> 
    	</property>
    </configuration>

修改hadoop-env.sh文件，增加环境变量

export JAVA_HOME=/data/soft/jdk1.8
    export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

2.格式化namenode

[root@hadoop124 hadoop-3.2.1]# pwd
    /data/soft/hadoop-3.2.1
    [root@hadoop124 hadoop-3.2.1]# bin/hdfs namenode -format

有如下信息，说明格式化成功  
![在这里插入图片描述][20200528174501198.png]  
3.启动hadoop集群

[root@hadoop124 hadoop-3.2.1]# sbin/start-all.sh

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw_size_16_color_FFFFFF_t_70 1]  
报五个变量没有定义，解决方法为  
修改start-dfs.sh，stop-dfs.sh这两个脚本，在文件前面增加如下内容：(两个都要加)

#!/usr/bin/env bash
    HDFS_DATANODE_USER=root 
    HDFS_DATANODE_SECURE_USER=hdfs 
    HDFS_NAMENODE_USER=root 
    HDFS_SECONDARYNAMENODE_USER=root

修改start-yarn.sh,stop-yarn.sh这两个脚本，在文件前面增加如下内容：（两个都要加）

#!/usr/bin/env bash
    YARN_RESOURCEMANAGER_USER=root 
    HADOOP_SECURE_DN_USER=yarn 
    YARN_NODEMANAGER_USER=root

再次执行成功了，可以看到有五个进程。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw_size_16_color_FFFFFF_t_70 2]  
除了通过jps命令验证，也可以通过webui界面来验证集群服务是否启动成功。  
HDFS 的web管理界面： http://192.168.8.124:9870  
YARN 的web管理界面： http://192.168.8.124:8088  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw_size_16_color_FFFFFF_t_70 3]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw_size_16_color_FFFFFF_t_70 4]  
停止集群

![在这里插入图片描述][20200528180124960.png]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200528170950522.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw==,size_16,color_FFFFFF,t_70
[2020052817112793.png]: https://img-blog.csdnimg.cn/2020052817112793.png
[20200528171153243.png]: https://img-blog.csdnimg.cn/20200528171153243.png
[20200528171300633.png]: https://img-blog.csdnimg.cn/20200528171300633.png
[20200528171738570.png]: https://img-blog.csdnimg.cn/20200528171738570.png
[20200528171945175.png]: https://img-blog.csdnimg.cn/20200528171945175.png
[20200528174501198.png]: https://img-blog.csdnimg.cn/20200528174501198.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200528174708571.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20200528175620717.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200528180012794.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200528180049464.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2h1YW5nYmFva2FuZw==,size_16,color_FFFFFF,t_70
[20200528180124960.png]: https://img-blog.csdnimg.cn/20200528180124960.png