Linux安装Hadoop超详细教程

「爱情、让人受尽委屈。」 2023-07-02 08:26 23阅读 0赞

## 一、引言 ##

首先说明一下，本文的安装教程仅是针对个人的操作经验所写的。可能有些同学安装的时候觉得跟他的不一样，那可能是由于版本不一样所导致的。另外本次分享是基于已经安装了java及配置好了环境。  
本机的配置环境如下：  
Hadoop(3.1.1)  
Ubuntu Linux(64位系统)

## 二、安装ssh服务 ##

ubuntu中默认是没有安装ssh server的，只有 ssh client,可以使用如下命令安装：  
`sudo apt-get install ssh openssh-server`  
然后设置ssh免密码登陆，执行如下命令：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    #验证是否成功 输入
    ssh localhost
    #如果可以不需要密码登录则表示成功，否则就是失败，需要去查找原因，如果成功后 输入exit退出

成功之后截图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70]

## 三、安装Hadoop ##

1.下载Hadoop安装包  
可以到如下网址下载：http://apache.stu.edu.tw/hadoop/common/hadoop-3.1.1/

2.解压  
使用如下命令解压缩Hadoop安装包：  
`tar -zxvf hadoop-3.1.1.tar.gz`  
解压完成之后出现Hadoop-3.1.1的文件下如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 1]  
3.配置Hadoop中相应的文件  
我使用的是Hadoop的伪分布式，因此需要配置的文件如下，hadoop-env.sh，core-site.xml，mapred-site.xml.template，hdfs-site.xml，所有的文件均位于hadoop3.1.1/etc/hadoop下面，具体需要的配置如下：  
(1)core-site.xml 配置如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 2]  
(2)mapred-site.xml.template配置如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 3]  
(3)hdfs-site.xml配置如下：

注：如果运行Hadoop的时候发现找不到jdk，可以先使用`echo $JAVA_HOME`查看java安装路径，然后直![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 4]接将jdk的路径放置在hadoop.env.sh里面。具体如下：  
`export JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"`

## 四、运行Hadoop ##

1.首先你需要初始化HDFS系统  
在hadop3.1.1目录下使用如下命令：  
`bin/hdfs namenode -format`  
成功之后截图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 5]  
表示已经初始化完成。  
2.开启NameNode和DataNode守护进程  
在hadop3.1.1目录下使用如下命令：  
`sbin/start-dfs.sh`  
成功之后截图如下：  
![在这里插入图片描述][20200128132834576.png]  
3.查看进程信息  
在hadop3.1.1目录下使用如下命令：  
`jps`  
成功之后截图如下：  
![在这里插入图片描述][20200128132834120.png]  
4.查看Web UI  
在浏览器中输入[http://localhost:50070][http_localhost_50070]，即可查看相关信息。但是有些同学可能出现访问不了50070端口的问题。你可以在终端使用`netstat -ntlp`查看一下服务器启动的端口。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 6]  
然后一个个尝试，我最终找到的HDFS nameNode 的登陆端口是9870  
成功之后的截图如下：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 7]  
至此，hadoop的环境就已经搭建好了。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200128132710153.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20200128132734950.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/2020012813273692.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20200128132754704.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 4]: https://img-blog.csdnimg.cn/20200128132800196.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/20200128132823999.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4,size_16,color_FFFFFF,t_70
[20200128132834576.png]: https://img-blog.csdnimg.cn/20200128132834576.png
[20200128132834120.png]: https://img-blog.csdnimg.cn/20200128132834120.png
[http_localhost_50070]: http://localhost:50070/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 6]: https://img-blog.csdnimg.cn/20200128132854708.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4_size_16_color_FFFFFF_t_70 7]: https://img-blog.csdnimg.cn/20200128132914925.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3NpbmF0XzQwODc1MDc4,size_16,color_FFFFFF,t_70