Hadoop部署本地模式

我不是女神ヾ 2023-10-10 21:46 58阅读 0赞

本地模式，即运行在单台机器上。没有分布式的思想，使用的是本地文件系统。使用本地模式主要是用于对MapReduce的程序的逻辑进行调试，确保程序的正确性。由于在本地模式下测试和调试MapReduce程序较为方便，因此，这种模式适合用在开发阶段。

[平台软件说明][Link 1]

<table> 
 <thead> 
  <tr> 
   <th>平台&amp;软件</th> 
   <th>说明</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>宿主机操作系统</td> 
   <td>Windows / MacOS</td> 
  </tr> 
  <tr> 
   <td>虚拟机操作系统</td> 
   <td>CentOS 7</td> 
  </tr> 
  <tr> 
   <td>虚拟机软件</td> 
   <td>Windows: VMWare<br> MacOS: Parallels Desktop</td> 
  </tr> 
  <tr> 
   <td>SSH工具</td> 
   <td>Windows: MobaXterm / FinalShell<br> MacOS: FinalShell / iTerm2</td> 
  </tr> 
  <tr> 
   <td>软件包上传路径</td> 
   <td>/root/softwares</td> 
  </tr> 
  <tr> 
   <td>软件安装路径</td> 
   <td>/usr/local</td> 
  </tr> 
  <tr> 
   <td>JDK</td> 
   <td>X64: jdk-8u321-linux-x64.tar.gz<br> ARM: jdk-8u321-linux-aarch64.tar.gz</td> 
  </tr> 
  <tr> 
   <td>Hadoop</td> 
   <td>X64: hadoop-3.3.1.tar.gz<br> ARM: hadoop-3.3.1-aarch64.tar.gz</td> 
  </tr> 
  <tr> 
   <td>用户</td> 
   <td>root</td> 
  </tr> 
 </tbody> 
</table>

[安装JDK][JDK]

1.  卸载之前的JDK
    
        # 卸载之前的原因，主要是需要保证安装的JDK版本的正确性。
        [root@qianfeng01 ~]# rpm -qa | grep jdk     		# 如果有,请卸载
        [root@qianfeng01 ~]# rpm -e xxxxxxxx --nodeps      	# 将查询到的内置jdk强制卸载
        复制代码
2.  上传JDK安装包到指定的路径
    
        使用MobaXterm或者FinalShell直接上传即可，上传到 /root/softwares 下
        复制代码
3.  解压JDK到指定安装路径
    
        [root@qianfeng01 ~]# cd /root/softwares && tar -zxvf jdk-8u321-linux-x64.tar.gz -C /usr/local
        复制代码
4.  配置环境变量
    
        [root@qianfeng01 local]# vim /etc/profile
        
        ...上述内容省略，在末尾添加即可...
        # Java Environment
        export JAVA_HOME=/usr/local/jdk1.8.0_321
        export PATH=$PATH:$JAVA_HOME/bin
        复制代码
5.  重新引导，使得环境变量生效
    
        [root@qianfeng01 local]# source /etc/profile
        复制代码
6.  验证JDK是否配置完成
    
        [root@qianfeng01 local]# java -version
        复制代码

[安装Hadoop][Hadoop]

1.  上传Hadoop到指定的路径
    
        使用MobaXterm或者FinalShell上传到 /root/softwares 下即可
        复制代码
2.  解压安装
    
        [root@qianfeng01 ~]# cd /root/softwares && tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local
        复制代码
3.  配置环境变量
    
        [root@qianfeng01 ~]# vim /etc/profile
        ...上述内容省略，在最下方添加即可...
        # Hadoop Environment
        export HADOOP_HOME=/usr/local/hadoop-3.3.1
        export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
        复制代码
4.  重新引导，使得环境变量生效
    
        [root@qianfeng01 ~]# source /etc/profile
        复制代码
5.  验证是否配置成功
    
        [root@qianfeng01 ~]# hadoop version
        复制代码

[Hadoop的目录说明][Hadoop 1]Hadoop的目录说明

![95df97a876469cace2581d91e1a8445e.png][]

iShot2022-01-28 12.22.58

案例演示

1.  新建一个目录，存放文本文件
    
        # 将若干个存储单词的文件放入这个目录下
        [root@qianfeng01 ~]# mkdir ~/input
        复制代码
2.  执行wordcount
    
        [root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount ~/input ~/output
        复制代码
3.  查看结果
    
        [root@qianfeng01 ~]# cat ~/output/*
        复制代码

案例演示: pi

直接计算pi的结果

[root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 10 10

![934c53b39602448faf7a3d6be8203156.jpeg][]

也可以观看视频：

大数据简介-什么是大数据

[Link 1]: http://tuwen.1000phone.net/details?id=MzA0OQ==#%E5%B9%B3%E5%8F%B0%E8%BD%AF%E4%BB%B6%E8%AF%B4%E6%98%8E
[JDK]: http://tuwen.1000phone.net/details?id=MzA0OQ==#%E5%AE%89%E8%A3%85JDK
[Hadoop]: http://tuwen.1000phone.net/details?id=MzA0OQ==#%E5%AE%89%E8%A3%85Hadoop
[Hadoop 1]: http://tuwen.1000phone.net/details?id=MzA0OQ==#Hadoop%E7%9A%84%E7%9B%AE%E5%BD%95%E8%AF%B4%E6%98%8E
[95df97a876469cace2581d91e1a8445e.png]: https://img-blog.csdnimg.cn/img_convert/95df97a876469cace2581d91e1a8445e.png
[934c53b39602448faf7a3d6be8203156.jpeg]: https://img-blog.csdnimg.cn/934c53b39602448faf7a3d6be8203156.jpeg