二、Linux下搭建Hadoop的运行环境

缺乏、安全感 2021-08-30 02:54 451阅读 0赞

上一篇文章简单的介绍了一下Hadoop，本篇主要目的是搭建Hadoop的运行环境，关注专栏[《破茧成蝶——大数据篇》][Link 1]查看相关系列的文章~

--------------------

**目录**

一、 虚拟机准备

二、 安装JDK

三、安装Hadoop

四、Hadoop的目录结构

--------------------

# 一、 虚拟机准备 #

1、修改主机名（这里主机名设置为node1）。

hostnamectl set-hostname node1

2、配置主机映射，在/etc/hosts中添加如下内容（这里192.168.0.192为本机的ip地址）。

192.168.0.192 node1

3、关闭防火墙。

systemctl stop firewalld && systemctl disable firewalld && iptables -F

4、关闭安全子系统，在/etc/selinux/config中将如下内容设置成disabled。

SELINUX=disabled

5、重启机器，生效。

reboot

6、在/opt目录下新建software和modules两个目录，software用于存放压缩文件，modules用于存放解压文件。

[root@node1 ~]# cd /opt/
    
    [root@node1 opt]# mkdir software modules

# 二、 安装JDK #

1、查询是否安装java相关的软件。

[root@node1 opt]# rpm -qa | grep java

2、如果存在java相关的软件，卸载。

[root@node1 opt]# rpm -e 相关软件包

3、使用rz命令将jdk的tar包上传到software目录下。如果未能监测到有rz命令，使用yum安装即可。

[root@node1 opt]# yum -y install lrzsz

4、使用解压命令将jdk解压到modules目录下。

[root@node1 software]# tar -zxvf ./jdk-8u144-linux-x64.tar.gz -C ../modules/

5、配置jdk环境变量。首先需要获取jdk路径。

[root@node1 modules]# cd jdk1.8.0_144/
    
    [root@node1 jdk1.8.0_144]# pwd
    
    /opt/modules/jdk1.8.0_144
    
    [root@node1 jdk1.8.0_144]#

然后编辑/etc/profile此文件。

##JAVA_HOME
    
    export JAVA_HOME=/opt/modules/jdk1.8.0_144
    
    export PATH=$PATH:$JAVA_HOME/bin

保存并退出。

:wq

最后，使之生效。

[root@node1 jdk1.8.0_144]# source /etc/profile

6、测试是否安装成功。

[root@node1 jdk1.8.0_144]# java -version
    
    java version "1.8.0_144"
    
    Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
    
    Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

# 三、安装Hadoop #

1、同样的，将下载好的tar包上传到对应目录下，解压。

[root@node1 software]# tar -zxvf ./hadoop-2.7.2.tar.gz -C ../modules/

2、配置环境变量。编辑/etc/profile此文件。

##HADOOP_HOME
    
    export HADOOP_HOME=/opt/modules/hadoop-2.7.2
    
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3、保存并退出，同样的使用如下命令使之生效。

[root@node1 hadoop-2.7.2]# source /etc/profile

4、测试是否安装成功。

[root@node1 hadoop-2.7.2]# hadoop version
    
    Hadoop 2.7.2
    
    Subversion Unknown -r Unknown
    
    Compiled by root on 2017-05-22T10:49Z
    
    Compiled with protoc 2.5.0
    
    From source with checksum d0fda26633fa762bff87ec759ebe689c
    
    This command was run using /opt/modules/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar

# 四、Hadoop的目录结构 #

[root@node1 hadoop-2.7.2]# ll
    
    total 52
    
    drwxr-xr-x 2 root root  4096 May 22  2017 bin
    
    drwxr-xr-x 3 root root  4096 May 22  2017 etc
    
    drwxr-xr-x 2 root root  4096 May 22  2017 include
    
    drwxr-xr-x 3 root root  4096 May 22  2017 lib
    
    drwxr-xr-x 2 root root  4096 May 22  2017 libexec
    
    -rw-r--r-- 1 root root 15429 May 22  2017 LICENSE.txt
    
    -rw-r--r-- 1 root root   101 May 22  2017 NOTICE.txt
    
    -rw-r--r-- 1 root root  1366 May 22  2017 README.txt
    
    drwxr-xr-x 2 root root  4096 May 22  2017 sbin
    
    drwxr-xr-x 4 root root  4096 May 22  2017 share

（1）bin目录：存放对Hadoop相关服务（HDFS、YARN）进行操作的脚本。

（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件。

（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）。

（4）sbin目录：存放启动或停止Hadoop相关服务的脚本。

（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例。

本篇博客到此就算完成了，下篇博客我们将会介绍Hadoop的运行模式（本地模式、伪分布式）。

[Link 1]: https://blog.csdn.net/gdkyxy2013/category_10006538.html