Windows下搭建hadoop 搭建本地hadoop开发环境

旧城等待， 2021-11-04 15:36 440阅读 0赞

**一、下载所需文件**

1.JDK下载地址：[点击打开链接][Link 1]

2.Hadoop下载地址：[点击打开链接][Link 2]

3.Windows下安装Hadoop工具下载地址:[点击打开链接][Link 3]    密码：yk9u

**二、jdk安装**

1.不会看这里[点击打开链接][Link 4]

**三、Hadoop环境配置   **

1.下载Hadoop，并解压到你的本地目录，我下载的是hadoop-2.5.2版本，解压在D:\\hadoop\\hadoop-2.5.2。

![70][]

**四、配置Hadoop的环境变量**

1.计算机 –>属性 –>高级系统设置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP\_HOME

![70 1][]

注意：路径到bin的上级目录即可。

2.Path环境变量下配置【%HADOOP\_HOME%\\bin;】变量

![70 2][]

**五、配置Hadoop文件**

1.编辑“D:\\hadoop\\hadoop-2.5.2\\etc\\hadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存。

<configuration> 
         <property> 
         <name>hadoop.tmp.dir </name> 
         <value>/D:/hadoop/workplace/tmp </value> 
         </property> 
         <property> 
         <name>dfs.name.dir </name> 
         <value>/D:/hadoop/workplace/name </value> 
         </property> 
         <property> 
         <name>fs.default.name </name> 
         <value>hdfs://localhost:9000 </value> 
         </property> 
         </configuration>

2. 编辑“D:\\hadoop\\hadoop-2.5.2\\etc\\hadoop”目录下的 mapred-site.xml (如果不存在将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存。

<configuration> 
         <property> 
         <name>mapreduce.framework.name </name> 
         <value>yarn </value> 
         </property> 
         <property> 
         <name>mapred.job.tracker </name> 
         <value>hdfs://localhost:9001 </value> 
         </property> 
         </configuration>

3.编辑“D:\\hadoop\\hadoop-2.5.2\\etc\\hadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。

<configuration> 
          
         <property> 
         <name>dfs.replication </name> 
         <value>1 </value> 
         </property> 
         <property> 
         <name>dfs.data.dir </name> 
         <value>/D:/hadoop/workplace/data </value> 
         </property> 
         </configuration>

4. 编辑“D:\\hadoop\\hadoop-2.5.2\\etc\\hadoop”目录下的 yarn-site.xml 文件，粘贴以下内容并保存。

<configuration> 
         <property> 
         <name>yarn.nodemanager.aux-services </name> 
         <value>mapreduce_shuffle </value> 
         </property> 
         <property> 
         <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class </name> 
         <value>org.apache.hadoop.mapred.ShuffleHandler </value> 
         </property> 
         </configuration>

5.编辑“D:\\hadoop\\hadoop-2.5.2\\etc\\hadoop”目录下的hadoop-env.cmd文件，将JAVA\_HOME用 @rem注释掉，编辑为JAVA\_HOME的路径，然后保存。

@ rem set JAVA_HOME=%JAVA_HOME% 
         set JAVA_HOME=D:\java\jdk

**六、替换文件**

将1.3下载到的hadooponwindows-master.zip，解压，将全部bin目录文件替换至hadoop目录下的bin目录。

**七、运行环境**

1.运行cmd窗口，执行hdfs namenode -format。

2.运行cmd窗口，切换到hadoop的sbin目录，执行**start-all.cmd**，它将会启动以下4个进程窗口。

![70 3][]

![70 4][]

![70 5][]

![70 6][]

**八、上传测试**

根据你core-site.xml的配置，接下来你就可以通过：hdfs://localhost:9000来对hdfs进行操作了。

1.创建输入目录

C: \WINDOWS \system32>hadoop fs -mkdir hdfs: //localhost:9000/user/ 
         
         C: \WINDOWS \system32>hadoop fs -mkdir hdfs: //localhost:9000/user/wcinput

2.上传数据到目录

C: \WINDOWS \system32>hadoop fs -put D:\personal\debug. log hdfs: //localhost:9000/user/wcinput 
         
         C: \WINDOWS \system32>hadoop fs -put D: \ personal\waz.txt hdfs: //localhost:9000/user/wcinput

3.查看文件

![70 7][]

**QA常见问题：**

1:启动hadoop可能提示找不到JAVA\_HOME路径,是因为hadoop读取JAVA\_HOME环境变量存在空格导致。

2:启动hadoop提示找不到HADOOP，是因为Hadoop环境变量没有配置好，请检查Hadoop环境变量配置。

#### hadoop自带的web控制台GUI ####

1.资源管理GUI:[http://localhost:8088/][http_localhost_8088]；

![70 8][]

2.节点管理GUI:[http://localhost:50070/][http_localhost_50070]

![70 9][]

[Link 1]: http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
[Link 2]: http://hadoop.apache.org/#Download+Hadoop
[Link 3]: https://pan.baidu.com/s/1eGra7gKCDbvNubO8UO5rgw
[Link 4]: https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html
[70]: /images/20211104/536fa7754fc548019a45b91ac136d4ad.png
[70 1]: /images/20211104/7a963b415c8d4bbd9932d2c7268eeb22.png
[70 2]: /images/20211104/0fb843f307cc47ff99d01a078966a33a.png
[70 3]: /images/20211104/28b1c1f2b3364bc28ae45b0156f30823.png
[70 4]: /images/20211104/71e94437f62446ab8f383bf0d0c176ad.png
[70 5]: /images/20211104/3c9ab67b983a4a21bf15888a2ff99a07.png
[70 6]: /images/20211104/6b4a56740b6f408091728314966281de.png
[70 7]: /images/20211104/83262c60a05f48a48860dbda52edcdfe.png
[http_localhost_8088]: http://localhost:8088/
[70 8]: /images/20211104/b453fdf39d3543a0b427b1ce47706be8.png
[http_localhost_50070]: http://localhost:50070/
[70 9]: /images/20211104/0750428d42324952aece6e478844be6c.png