大数据学习系列之一 ----- Hadoop环境搭建(单机)

叁歲伎倆 2022-06-05 11:30 291阅读 0赞

## 一、环境选择 ##

### 1，服务器选择 ###

阿里云服务器:入门型(按量付费)  
操作系统:linux CentOS 6.8  
Cpu：1核  
内存：1G  
硬盘:40G  
ip:39.108.77.250  
![这里写图片描述][SouthEast]

### 2，配置选择 ###

JDK:1.8 （jdk-8u144-linux-x64.tar.gz）  
Hadoop:2.8.2 (hadoop-2.8.2.tar.gz)

### 3，下载地址 ###

**官网地址:**  
JDK：  
[http://www.oracle.com/technetwork/java/javase/downloads][http_www.oracle.com_technetwork_java_javase_downloads]

Hadopp:  
[http://www.apache.org/dyn/closer.cgi/hadoop/common][http_www.apache.org_dyn_closer.cgi_hadoop_common]

**百度云:**

链接：[http://pan.baidu.com/s/1pLqS4kF][http_pan.baidu.com_s_1pLqS4kF] 密码：yb79

## 二、服务器的相关配置 ##

在配置Hadoop之前，应该先做以下配置

### 1，更改主机名 ###

首先更改主机名，目的是为了方便管理。  
输入:

hostname

查看本机的名称  
然后输入:

vim /etc/sysconfig/network

修改主机名称  
将HOSTNAME 的名称更改为你想要设置的名称  
![这里写图片描述][SouthEast 1]  
注:主机名称更改之后，要重启(reboot)才会生效。

输入

vim /etc/hosts

添加 主机IP 和对应的主机名称，做映射。  
![这里写图片描述][SouthEast 2]

注:在配置文件中使用主机名的话，这个映射必须做！

### 2，关闭防火墙 ###

关闭防火墙，方便外部访问。  
CentOS 7版本以下输入:  
关闭防火墙

service   iptables stop

CentOS 7 以上的版本输入：

systemctl   stop   firewalld.service

### 3，时间设置 ###

输入:

date

查看服务器时间是否一致，若不一致则更改  
更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

## 三、Hadoop环境安装 ##

### 1，下载jdk、hadoop ###

将下载下来的 jdk、hadoop 解压包放在home 目录下  
并新建java、hadoop文件夹  
![这里写图片描述][SouthEast 3]

#### **3.1.1解压文件** ####

输入:  
tar -xvf jdk-8u144-linux-x64.tar.gz  
tar -xvf hadoop-2.8.2.tar.gz  
解压jdk和hadoop ,分别移动文件到java和hadoop文件下，  
并将文件夹重命名为jdk1.8和hadoop2.8  
![这里写图片描述][SouthEast 4]

### 2，JDK环境配置 ###

首先输入

java -version

查看是否安装了JDK，如果安装了，但版本不适合的话，就卸载

#### **3.2.1 profile 文件更改** ####

编辑 /etc/profile 文件  
输入:

vim /etc/profile

整体的配置文件:

export JAVA_HOME=/home/java/jdk1.8
    export JRE_HOME=/home/java/jdk1.8/jre
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
    export PATH=.:${JAVA_HOME}/bin:$PATH

![这里写图片描述][SouthEast 5]  
**注: JAVA\_HOME的路径是 JDK的路径**

使用vim 编辑之后 记得输入

source /etc/profile

使配置生效

配置完后，输入`java -version` 查看版本信息  
![这里写图片描述][SouthEast 6]

### 3，Hadoop 环境配置 ###

#### **3.3.1 profile 文件更改** ####

编辑 /etc/profile 文件  
输入:

vim /etc/profile

整体的配置文件:

export HADOOP_HOME=/home/hadoop/hadoop2.8
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
    export PATH=.:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:$PATH

![这里写图片描述][SouthEast 7]  
输入:

source  /etc/profile

使配置生效

修改配置文件

#### **3.3.2新建文件夹** ####

在修改配置文件之前，现在root目录下建立一些文件夹。  
输入:

mkdir  /root/hadoop  
    mkdir  /root/hadoop/tmp  
    mkdir  /root/hadoop/var  
    mkdir  /root/hadoop/dfs  
    mkdir  /root/hadoop/dfs/name  
    mkdir  /root/hadoop/dfs/data

**注:在root目录下新建文件夹是防止被莫名的删除。**

首先切换到 /home/hadoop/hadoop2.8/etc/hadoop/ 目录下

#### **3.3.3修改 core-site.xml** ####

输入:

vim core-site.xml

在`<configuration>`添加:

<configuration>
    <property>
            <name>hadoop.tmp.dir</name>
            <value>/root/hadoop/tmp</value>
            <description>Abase for other temporary directories.</description>
       </property>
       <property>
            <name>fs.default.name</name>
            <value>hdfs://test1:9000</value>
       </property>
    </configuration>

![这里写图片描述][SouthEast 8]  
**说明: test1 可以替换为主机的ip。**

#### **3.3.4修改 hadoop-env.sh** ####

输入:

vim hadoop-env.sh

将`${JAVA_HOME}` 修改为自己的JDK路径

export   JAVA_HOME=${JAVA_HOME}

修改为：

export   JAVA_HOME=/home/java/jdk1.8

![这里写图片描述][SouthEast 9]

#### **3.4.5修改 hdfs-site.xml** ####

输入:

vim hdfs-site.xml

在`<configuration>`添加:

<property>
       <name>dfs.name.dir</name>
       <value>/root/hadoop/dfs/name</value>
       <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
    </property>
    <property>
       <name>dfs.data.dir</name>
       <value>/root/hadoop/dfs/data</value>
       <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
    </property>
    <property>
       <name>dfs.replication</name>
       <value>2</value>
    </property>
    <property>
          <name>dfs.permissions</name>
          <value>false</value>
          <description>need not permissions</description>
    </property>

![这里写图片描述][SouthEast 10]

**说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。**

#### **3.4.6 修改mapred-site.xml** ####

如果没有 `mapred-site.xml` 该文件，就复制`mapred-site.xml.template`文件并重命名为`mapred-site.xml`。  
输入:

vim mapred-site.xml

修改这个新建的`mapred-site.xml`文件，在`<configuration>`节点内加入配置:

<property>
        <name>mapred.job.tracker</name>
        <value>test1:9001</value>
    </property>
    <property>
          <name>mapred.local.dir</name>
           <value>/root/hadoop/var</value>
    </property>
    <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
    </property>

![这里写图片描述][SouthEast 11]

使用的命令:  
![这里写图片描述][SouthEast 12]  
到此 Hadoop 的单机模式的配置就完成了。

## 四、Hadoop启动 ##

第一次启动Hadoop需要初始化  
切换到 /home/hadoop/hadoop2.8/bin目录下输入

./hadoop  namenode  -format

![这里写图片描述][SouthEast 13]  
![这里写图片描述][SouthEast 14]

初始化成功后，可以在/root/hadoop/dfs/name 目录下(该路径在hdfs-site.xml文件中进行了相应配置，并新建了该文件夹)新增了一个current 目录以及一些文件。  
![这里写图片描述][SouthEast 15]

启动Hadoop 主要是启动HDFS和YARN  
切换到/home/hadoop/hadoop2.8/sbin目录  
启动HDFS  
输入:

start-dfs.sh

登录会询问是否连接，输入yes ，然后输入密码就可以了  
![这里写图片描述][SouthEast 16]

启动YARN  
输入:

start-yarn.sh

![这里写图片描述][SouthEast 17]

可以输入 jps 查看是否成功启动

在浏览器输入:  
[http://39.108.77.250:8088/cluster][http_39.108.77.250_8088_cluster]  
![这里写图片描述][SouthEast 18]

输入:  
[http://39.108.77.250:50070][http_39.108.77.250_50070]  
![这里写图片描述][SouthEast 19]  
**注:当时忘记截图了，这张使用的是本地用虚拟机搭建环境的图片。**

到此，Hadoop的单机配置就结束了。

[SouthEast]: /images/20220605/87b3a01bdf284f3bb90977b82ecc41f1.png
[http_www.oracle.com_technetwork_java_javase_downloads]: http://www.oracle.com/technetwork/java/javase/downloads
[http_www.apache.org_dyn_closer.cgi_hadoop_common]: http://www.apache.org/dyn/closer.cgi/hadoop/common
[http_pan.baidu.com_s_1pLqS4kF]: http://pan.baidu.com/s/1pLqS4kF
[SouthEast 1]: /images/20220605/35c3289fc3c94208b755de735a81ff7d.png
[SouthEast 2]: /images/20220605/c21ff0cb599a462cb5a942d45c0a845d.png
[SouthEast 3]: /images/20220605/b5f1706a22fc46e1ae859e4450b92bf2.png
[SouthEast 4]: /images/20220605/e78ee42a3e694eb984ca8759fc0afba6.png
[SouthEast 5]: /images/20220605/935fc6d1bee44524b23bd4f0e42b2ee1.png
[SouthEast 6]: /images/20220605/04071c3e3ea94b30a1091888351b82ad.png
[SouthEast 7]: /images/20220605/9b9d2cdfc7104d94b99a9c840c130372.png
[SouthEast 8]: /images/20220605/dd5dc391bfc64121b26dfd5631511fbc.png
[SouthEast 9]: /images/20220605/e6b0bf01efbb4e7d95496e037847b58e.png
[SouthEast 10]: /images/20220605/23360612b0754338b04ddf2691e21d16.png
[SouthEast 11]: /images/20220605/5df7ca0c6c3c4c84a358546994f79b66.png
[SouthEast 12]: /images/20220605/9eb1a7a5e2fd4e478a5521a8114822a8.png
[SouthEast 13]: /images/20220605/1610c919907c4277bd18333d90198561.png
[SouthEast 14]: /images/20220605/c95b15fa8c7f45a2885ee74a5dd206cb.png
[SouthEast 15]: /images/20220605/4dfc5b0a6f7b4f2fb04c90bfe8652312.png
[SouthEast 16]: /images/20220605/3fd02642d7df4b18a4ac563ce1cc9f70.png
[SouthEast 17]: /images/20220605/48bf5c22bdf84cdb986dd56b3a71ac96.png
[http_39.108.77.250_8088_cluster]: http://39.108.77.250:8088/cluster
[SouthEast 18]: /images/20220605/9bf55c88e84148ac9864078da164f246.png
[http_39.108.77.250_50070]: http://39.108.77.250:50070
[SouthEast 19]: /images/20220605/1de4160a528d41d7aebd58758d616dbf.png