头歌Educoder——大数据Hadoop开发环境搭建

曾经终败给现在 2022-11-07 11:38 1650阅读 0赞

### 文章目录 ###

*  第1关：配置开发环境 - JavaJDK的配置
 *   *  任务描述
     *  相关知识
     *   *  下载JDK
         *  解压
         *   *   *  配置环境变量
         *  测试
     *  编程要求
     *  实现代码
 *  第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建
 *   *  任务描述
     *  相关知识
     *   *  下载Hadoop
         *  配置Hadoop环境
         *   *  设置SSH免密登录
             *  hadoop-env.sh 配置
             *  yarn-env.sh 配置
             *  core-site.xml配置
             *  hdfs-site.xml文件配置
             *  mapred-site.xml文件配置
             *  yarn-site.xml配置
             *  创建文件夹
             *  将Hadoop添加到环境变量中
         *  验证
         *   *  格式化
             *  启动Hadoop
     *  编程要求
     *  实现代码

# 第1关：配置开发环境 - JavaJDK的配置 #

## 任务描述 ##

本关任务：配置`JavaJDK`。

## 相关知识 ##

配置开发环境是我们学习一门`IT`技术的第一步，`Hadoop`是基于`Java`开发的，所以我们学习`Hadoop`之前需要在`Linux`系统中配置`Java`的开发环境。

### 下载JDK ###

前往`Oracle`的官网下载`JDK`： https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html

![预览大图][373351_22]

我们可以先下载到本地，然后从`Windows`中将文件传入到虚拟机中。 也可以复制链接地址，在`Linux`系统中下载，不过复制链接地址不能直接下载，因为`Oracle`做了限制，地址后缀需要加上它随机生成的随机码，才能下载到资源。

![img][]

所以我们可以点击下载，然后暂停，最后在下载管理中复制链接地址就可以在`Linux`系统中下载啦。

![img][img 1]

因为`JDK`的压缩包有大概`200M`，所以我们已经在平台中为你下载好了`JDK`，不用你再去`Oracle`的官网去下载了，如果你要在自己的`Linux`系统中安装，那么还是需要下载的。

**我们已经将`JDK`的压缩包放在系统的**`/opt`**目录下了，在命令行中切换至该目录下即可。**

### 解压 ###

首先在右侧命令行中创建一个`/app`文件夹，我们之后的软件都将安装在该目录下。 命令：`mkdir /app`

然后，切换到`/opt`目录下，来查看一下提供的压缩包。

![img][img 2]

可以看到我们已经帮你下载好了`JDK`和`Hadoop`的安装文件。

现在我们解压`JDK`并将其移动到`/app`目录下。

tar -zxvf jdk-8u171-linux-x64.tar.gzmv jdk1.8.0_171/ /app

可以切换到`/app`目录下查看解压好的文件夹。

![img][img 3]

##### 配置环境变量 #####

解压好`JDK`之后还需要在环境变量中配置`JDK`，才可以使用，接下来就来配置`JDK`。 输入命令：`vim /etc/profile` 编辑配置文件；

在文件末尾输入如下代码（不可以有空格）：

![img][img 4]

然后，保存并退出。

最后：`source /etc/profile`使刚刚的配置生效。

### 测试 ###

最后我们可以测试一下环境变量是否配置成功。 输入：`java -version` 出现如下界面代表配置成功。

![img][img 5]

## 编程要求 ##

根据上述步骤完成`Java`开发环境的配置即可。

注意：因为下次再开启实训，环境会重置，所以最好的方式是一次性通过所有关卡。

--------------------

开始配置`JDK`吧，`go on`。

## 实现代码 ##

mkdir /app
    
    cd /opt
    
    tar -zxvf jdk-8u171-linux-x64.tar.gz
    
    mv jdk1.8.0_171/ /app
    
    vim /etc/profile
    
    光标移动到文件末尾
    i
    
    JAVA_HOME=/app/jdk1.8.0_171
    CLASSPATH=.:$JAVA_HOME/lib/tools.jar
    PATH=$JAVA_HOME/bin:$PATH
    export JAVA_HOME CLASSPATH PATH
    
    按esc键
    
    冒号shift+:
    
    wq
    
    source /etc/profile

输入：`java -version` 出现如下界面代表配置成功。

![image-20210311180356512][]

# 第2关：配置开发环境 - Hadoop安装与伪分布式集群搭建 #

--------------------

## 任务描述 ##

本关任务：安装配置`Hadoop`开发环境。

## 相关知识 ##

### 下载Hadoop ###

我们去官网下载：http://hadoop.apache.org/ 在平台上已经帮你下载好了（在`/opt`目录下），这里只是展示一下下载步骤。

![img][img 6] ![img][img 7] ![img][img 8]

输入`wget`下载`Hadoop`；

wget http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-2.7.7/hadoop-2.7.7.tar.gz

如果是生产环境就需要验证文件的完整性，在这里就偷个懒了。

由于解压包有大概`300M`，所以我们已经预先帮你下载好了，切换到`/opt`目录下即可看到。

接下来解压`Hadoop`的压缩包，然后将解压好的文件移动到`/app`目录下。

![img][img 9]

我们来切换到`app`目录下修改一下`hadoop`文件夹的名字。

![img][img 10]

> 提示：如果出现文件解压大小限制的情况，可以使用 `ulimit -f 1000000` 命令来解除限制。

### 配置Hadoop环境 ###

接下来我们开始配置`Hadoop`开发环境。 咱们来搭建一个单节点的集群，配置一个伪分布式，为什么不做分布式呢？ 其实分布式的配置和伪分布式差不多，只是分布式机器增加了而已，其他没什么两样，所以作为`Hadoop`学习我们搭建伪分布式要更好一点，不过后期我们会搭建真正的分布式环境。 好了，开始吧。你可以和我一起来，也可以看官方文档：http://hadoop.apache.org/docs/r3.1.0/hadoop-project-dist/hadoop-common/SingleCluster.html

#### 设置SSH免密登录 ####

在之后操作集群的时候我们需要经常登录主机和从机，所以设置`SSH`免密登录时有必要的。

输入如下代码：

ssh-keygen -t rsa -P ''

生成无密码密钥对，询问保存路径直接输入回车，生成密钥对：`id_rsa和id_rsa.pub`，默认存储在`~/.ssh`目录下。 接下来：把`id_rsa.pub`追加到授权的`key`里面去。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然后修改权限：

chmod 600 ~/.ssh/authorized_keys

接着需要启用`RSA`认证，启动公钥私钥配对认证方式：  
`vim /etc/ssh/sshd_config` 如果提示权限不足在命令前加上`sudo`； 修改`ssh`配置：

RSAAuthentication yes # 启用 RSA 认证PubkeyAuthentication yes # 启用公钥私钥配对认证方式AuthorizedKeysFile %h/.ssh/authorized_keys # 公钥文件路径

![img][img 11]

重启`SSH`(在本地自己的虚拟机中可以重启，在平台不可以重启哦，也不需要，重启了你就连接不上命令行了！)

service ssh restart

好了准备工作已经做完了，我们要开始修改`Hadoop`的配置文件了，总共需要修改`6`个文件。分别是：

*  hadoop-env.sh；
 *  yarn-env.sh ；
 *  core-site.xml；
 *  hdfs-site.xml；
 *  mapred-site.xml；
 *  yarn-site.xml。

我们一个一个接着来配置吧！

#### hadoop-env.sh 配置 ####

两个`env.sh`文件主要是配置`JDK`的位置

提示：如果忘记了`JDK`的位置了，输入 `echo $JAVA_HOME`就可以看到哦。

首先我们切换到`hadoop`目录下

cd /app/hadoop3.1/etc/hadoop/

编辑 `hadoop-env.sh`在文件中插入如下代码：

# The java implementation to use.  #export JAVA_HOME=${JAVA_HOME}  export JAVA_HOME=/app/jdk1.8.0_171

#### yarn-env.sh 配置 ####

编辑`yarn-env.sh` 插入如下代码：

export JAVA_HOME=/app/jdk1.8.0_171

![img][img 12]

#### core-site.xml配置 ####

这个是核心配置文件我们需要在该文件中加入`HDFS`的`URI`和`NameNode`的临时文件夹位置，这个临时文件夹在下文中会创建。 在文件末尾的`configuration`标签中添加代码如下：

<configuration>   <property>      <name>fs.default.name</name>      <value>hdfs://localhost:9000</value>      <description>HDFS的URI，文件系统://namenode标识:端口号</description>  </property>  <property>      <name>hadoop.tmp.dir</name>      <value>/usr/hadoop/tmp</value>      <description>namenode上本地的hadoop临时文件夹</description>  </property>  </configuration>

#### hdfs-site.xml文件配置 ####

`replication`指的是副本数量，我们现在是单节点，所以是`1`。

<configuration>  <property>      <name>dfs.name.dir</name>      <value>/usr/hadoop/hdfs/name</value>      <description>namenode上存储hdfs名字空间元数据 </description>   </property>  <property>      <name>dfs.data.dir</name>      <value>/usr/hadoop/hdfs/data</value>      <description>datanode上数据块的物理存储位置</description>  </property>  <property>      <name>dfs.replication</name>      <value>1</value>  </property>  </configuration>

#### mapred-site.xml文件配置 ####

<configuration>    <property>        <name>mapreduce.framework.name</name>        <value>yarn</value>    </property></configuration>

#### yarn-site.xml配置 ####

<configuration>  <property>          <name>yarn.nodemanager.aux-services</name>          <value>mapreduce_shuffle</value>  </property>  <property>          <name>yarn.resourcemanager.webapp.address</name>          <value>192.168.2.10:8099</value>          <description>这个地址是mr管理界面的</description>  </property>  </configuration>

#### 创建文件夹 ####

我们在配置文件中配置了一些文件夹路径，现在我们来创建他们，在`/usr/hadoop/`目录下使用**hadoop**用户操作，建立`tmp`、`hdfs/name`、`hdfs/data`目录，执行如下命令：

mkdir -p /usr/hadoop/tmp mkdir /usr/hadoop/hdfs mkdir /usr/hadoop/hdfs/data mkdir /usr/hadoop/hdfs/name

#### 将Hadoop添加到环境变量中 ####

vim /etc/profile

在文件末尾插入如下代码：

![img][img 13]

最后使修改生效：`source /etc/profile`

### 验证 ###

现在配置工作已经基本搞定，接下来只需要完成：1.格式化`HDFS`文件、2.启动`hadoop`、3.验证`Hadoop` 即可。

#### 格式化 ####

在使用`Hadoop`之前我们需要格式化一些`hadoop`的基本信息。 使用如下命令：

hadoop namenode -format

出现如下界面代表成功：

![img][img 14]

#### 启动Hadoop ####

接下来我们启动`Hadoop`：

start-dfs.sh

输入命令应该会出现如下图界面：

![img][img 15]

这个是表示启动没成功，是因为`root`用户现在还不能启动`hadoop`，我们来设置一下就可以了。

在`/hadoop3.1/sbin`路径下： `cd /app/hadoop3.1/sbin`。 将`start-dfs.sh`，`stop-dfs.sh`两个文件顶部添加以下参数

#!/usr/bin/env bashHDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARYNAMENODE_USER=root

还有，`start-yarn.sh`，`stop-yarn.sh`顶部也需添加以下：

#!/usr/bin/env bashYARN_RESOURCEMANAGER_USER=rootHADOOP_SECURE_DN_USER=yarnYARN_NODEMANAGER_USER=root

再次启动`start-dfs.sh`，最后输入命令 `jps` 验证,出现如下界面代表启动成功：

![img][img 16]

之后如果你是图形化界面，可以在你虚拟机的图形化界面中打开火狐浏览器输入：http://localhost:9870/ 或者在`windows`机器上输入http://虚拟机ip地址:9870/ 也可以访问`hadoop`的管理页面。

![img][img 17]

好了到了这一步`Hadoop`就安装完成了。

## 编程要求 ##

根据上述步骤，配置好`Hadoop`开发环境，点击评测即可。

> 提示：如果出现文件解压大小限制的情况，可以使用 `ulimit -f 1000000` 命令来解除限制。

--------------------

开始你的任务吧，祝你成功！

## 实现代码 ##

**判断JDK有没有安装**：输入 `echo $JAVA_HOME`就可以看到哦

![image-20210311174301404][]

窗口出现则表示JDK已经安装，可以进行下面的步骤。

**如果没有安装，则先进行第一关的代码**安装JDK

代码：

cd /opt
    tar -zxvf hadoop-3.1.0.tar.gz -C /app
    cd /app
    mv hadoop-3.1.0/ hadoop3.1

> 提示：如果出现文件解压大小限制的情况，可以使用 `ulimit -f 1000000` 命令来解除限制。

ssh-keygen -t rsa -P ''
    回车
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    chmod 600 ~/.ssh/authorized_keys
    vim /etc/ssh/sshd_config

在文件中找到这三个

![image-20210311181748162][]

找到之后，移动光标

删掉开头的 `#` 和下图内容相同

![image-20210311181920700][]

cd /app/hadoop3.1/etc/hadoop/
    
    vim hadoop-env.sh
    
    i
    
    
    # The java implementation to use.  
    #export JAVA_HOME=${JAVA_HOME}  
    export JAVA_HOME=/app/jdk1.8.0_171
    
    按esc键
    
    冒号，shift+:
    
    wq

![image-20210311182228892][]

vim yarn-env.sh
    
    i
    
    export JAVA_HOME=/app/jdk1.8.0_171
    
    按esc键
    
    冒号，shift+:
    
    wq

![image-20210311182749110][]

vim core-site.xml
    
    在文件末尾的configuration标签中添加代码如下：
     <property>  
        <name>fs.default.name</name>  
        <value>hdfs://localhost:9000</value>  
        <description>HDFS的URI，文件系统://namenode标识:端口号</description>  
    </property>  
    <property>  
        <name>hadoop.tmp.dir</name>  
        <value>/usr/hadoop/tmp</value>  
        <description>namenode上本地的hadoop临时文件夹</description>  
    </property>  
    
    按esc键
    
    冒号，shift+:
    
    wq

![image-20210311183029273][]

vim hdfs-site.xml
    
    在文件末尾的configuration标签中添加代码如下：
    <property>  
        <name>dfs.name.dir</name>  
        <value>/usr/hadoop/hdfs/name</value>  
        <description>namenode上存储hdfs名字空间元数据 </description>   
    </property>  
    <property>  
        <name>dfs.data.dir</name>  
        <value>/usr/hadoop/hdfs/data</value>  
        <description>datanode上数据块的物理存储位置</description>  
    </property>  
    <property>  
        <name>dfs.replication</name>  
        <value>1</value>  
    </property>  
    
    按esc键
    
    冒号，shift+:
    
    wq

![image-20210311183234608][]

vim mapred-site.xml
    
    在文件末尾的configuration标签中添加代码如下：
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
    
    按esc键
    
    冒号，shift+:
    
    wq

![image-20210311183353326][]

vim yarn-site.xml
    
    在文件末尾的configuration标签中添加代码如下：
    <property>  
            <name>yarn.nodemanager.aux-services</name>  
            <value>mapreduce_shuffle</value>  
    </property>  
    <property>  
            <name>yarn.resourcemanager.webapp.address</name>  
            <value>192.168.2.10:8099</value>  
            <description>这个地址是mr管理界面的</description>  
    </property>  
    
    按esc键
    
    冒号，shift+:
    
    wq

![image-20210311183520033][]

mkdir -p /usr/hadoop/tmp 
    
    mkdir /usr/hadoop/hdfs 
    
    mkdir /usr/hadoop/hdfs/data 
    
    mkdir /usr/hadoop/hdfs/name
    
    vim /etc/profile
    
    文件末尾插入以下代码：
    #set Hadoop Enviroment
    export HADOOP_HOME=/app/hadoop3.1
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
    按esc键
    
    冒号，shift+:
    
    wq
    
    source /etc/profile

![image-20210311183918092][]

hadoop namenode -format
    
    cd /app/hadoop3.1/sbin
    
    vim start-dfs.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数：
    #!/usr/bin/env bash
    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    
    按esc键
    
    冒号，shift+:
    
    wq

![image-20210311184210673][]

vim stop-dfs.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数：
    #!/usr/bin/env bash
    HDFS_DATANODE_USER=root
    HADOOP_SECURE_DN_USER=hdfs
    HDFS_NAMENODE_USER=root
    HDFS_SECONDARYNAMENODE_USER=root
    
    按esc键
    
    冒号，shift+:
    
    wq

![image-20210311184210673][]

vim start-yarn.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数：
    #!/usr/bin/env bash
    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root
    
    按esc键
    
    冒号，shift+:
    
    wq

![image-20210311184604962][]

vim stop-yarn.sh
    
    i
    
    回车键换行
    
    在文件顶部添加以下参数：
    #!/usr/bin/env bash
    YARN_RESOURCEMANAGER_USER=root
    HADOOP_SECURE_DN_USER=yarn
    YARN_NODEMANAGER_USER=root
    
    按esc键
    
    冒号，shift+:
    
    wq

![image-20210311184604962][]

start-dfs.sh
    
    jps

出现以下内容则成功，快测评吧

![image-20210311184753319][]

[373351_22]: /images/20221023/1e27f1f4eba24ab9a58ebdfa01ac8148.png
[img]: /images/20221023/490e68ec8f1d433b95d97238333a245a.png
[img 1]: /images/20221023/9b301b8b568d4a4bb7998e77e13ac7db.png
[img 2]: /images/20221023/cd500a4b48da425ba0b330219eb587e8.png
[img 3]: /images/20221023/2c5a203a41604c219cc00e0c7bd15e9d.png
[img 4]: /images/20221023/eba404b584544de8bc7ba19a139265a6.png
[img 5]: /images/20221023/d81df503f25e40d1b7f3b6e7d59cebd8.png
[image-20210311180356512]: /images/20221023/9696be8da2694558b98260e5f74d5ef0.png
[img 6]: https://img-blog.csdnimg.cn/img_convert/8dd1f3c4cce7e9009a490c9b66250dd7.png
[img 7]: https://img-blog.csdnimg.cn/img_convert/5a59c0bd7e9c6dfba40be173dff49693.png
[img 8]: /images/20221023/4d9435c8889a4bdaa0269a76be636309.png
[img 9]: /images/20221023/3ed2fb811e494c01b9f1798d04a3ffde.png
[img 10]: /images/20221023/2270faf0a180484a9c5034754cecb4d8.png
[img 11]: /images/20221023/5602e91100014a88a48312c05f3de479.png
[img 12]: /images/20221023/76e83c2b75124737966de3421fd05732.png
[img 13]: /images/20221023/1b0d0fc43c274ffba1947742236f66a2.png
[img 14]: /images/20221023/63e6eab08da04f0b9abb8ccc5b6d3bca.png
[img 15]: /images/20221023/649e38cafd2e4bada93183e5c198d78f.png
[img 16]: /images/20221023/34f91a8e00174eeda85e459d67dac361.png
[img 17]: /images/20221023/b7012f329c8e47deb9a3e4f2882712b0.png
[image-20210311174301404]: https://cdn.jsdelivr.net/gh/suitbaby/MarkDownPicMyself@main/img/20210311174308.png
[image-20210311181748162]: /images/20221023/98587a6bcdba4b6f9c0c53e7773117bd.png
[image-20210311181920700]: /images/20221023/9ecd1076addb4a798ea4f556e0eb217f.png
[image-20210311182228892]: /images/20221023/742da0dc414a4977af579befb2eea50f.png
[image-20210311182749110]: /images/20221023/56fb2dffe2ba481daea65f89671bcff4.png
[image-20210311183029273]: /images/20221023/92da32c88360439790f5c7357ca33cb3.png
[image-20210311183234608]: /images/20221023/7000f5c4793841cd8616d36c59b7ab0c.png
[image-20210311183353326]: /images/20221023/5ae2765265824d619736803df0b35ba6.png
[image-20210311183520033]: /images/20221023/021da05dd2a84033ad223ebe5685093c.png
[image-20210311183918092]: /images/20221023/3c97dbae667b47fb9f45873002dc7d81.png
[image-20210311184210673]: /images/20221023/0232c74cc7ff465e9eb19d39463e11d9.png
[image-20210311184604962]: /images/20221023/0ec9c1e36fe34b779bc540173b7f08a2.png
[image-20210311184753319]: /images/20221023/502d19e78a2348799803523e7d29a307.png