搞定Windows下的Hadoop环境安装

素颜马尾好姑娘i 2023-06-15 07:21 1阅读 0赞

Hadoop集群肯定还是要在linux下使用好些，但是对于想尝鲜的开发者或者上层应用开发来说，在windows下搭建一个单节点的应用也是蛮有必要的，当然只作为开发测试环境。

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop]

# 一、环境准备 #

1.  JDK安装
2.  Hadoop安装包（官网下载）
3.  hadooponwindows-master（可使配置更简洁）

# 二、安装配置 #

1、以管理员身份解压Hadoop安装包，

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 1]

2、配置Hadoop环境变量，

我的电脑 --> 属性 --> 高级系统设置 --> 高级 --> 环境变量，新建HADOOP\_HOME，然后将%HADOOP\_HOME%\\bin添加到Path中。

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 2]

3、新建data（下面建俩子文件夹namenode和datanode）和tmp目录，

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 3]

4、修改启动类 **hadoop-env.cmd**，

主要是设置JAVA\_HOME的路径，我的文件目录在 E:\\Dev2\\hadoop\\hadoop-2.6.0\\etc\\hadoop，（这里注意一下：如果jdk路径中有“Program Files”，则将Program Files改为 PROGRA~1，否则会报错）

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 4]

5、修改配置文件（core-site.xml，hdfs-site.xml，mapred-site.xml，yarn-site.xml）

核心操作就在这四个配置文件上面了，（如果下载了hadooponwindows-master，解压后可以直接覆盖bin和etc目录，然后只修改这四个文件夹中的路径信息就可以了）

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 5]

（1）core-site.xml

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 6]

（2）hdfs-site.xml

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 7]

（3）mapred-site.xml

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 8]

（4）yarn-site.xml

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 9]

6、启动格式化HDFS

首先，hadoop version，查看是否能正常运行，

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 10]

然后，执行 **hdfs namenode -format**

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 11]

格式化之后，namenode文件里会生成一个current文件，则格式化成功。

# 三、Hadoop启动 #

在cmd中执行 **start-all.cmd** 命令，启动Hadoop，路径：E:\\Dev2\\hadoop\\hadoop-2.6.0\\sbin。

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 12]

运行成功后，会出现四个窗口，分别是：yarn-resourcemanager、yarn-nodemanager、hadoop-namenode、hadoop-datanode。

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 13]

如上，则恭喜，启动成功。

# 四、HDFS操作测试 #

安装好了Hadoop环境，接下来我们就敲下hadoop命令，上传几个文件操作实战一下。

1、创建目录

**hadoop fs -mkdir hdfs://localhost:9000/my/**

**hadoop fs -mkdir hdfs://localhost:9000/my/testinput**

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 14]

2、上传文件

**hadoop fs -put E:\\test01.txt hdfs://localhost:9000/my/testinput**

**hadoop fs -put E:\\test02.txt hdfs://localhost:9000/my/testinput**

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 15]

3、查询文件

**hadoop fs -ls hdfs://localhost:9000/my/testinput**

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 16]

查询到我们刚刚上传的文件啦，恭喜，测试成功。

# 五、管理页面 #

Hadoop自带了web UI管理页面，

1、资源管理（localhost:8088）

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 17]

2、节点管理（localhost:50070）

![轻松搞定Windows下的Hadoop环境安装][Windows_Hadoop 18]

总体来说Hadoop在windows下的安装还是比较简单的，只要按部就班就可以了。

[Windows_Hadoop]: https://imgconvert.csdnimg.cn/aHR0cDovL3AzLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlL2IxNWRiOWZmMTk5ZTRjYmZiYTJiMDY0Yzc4NjE5MTYy?x-oss-process=image/format,png
[Windows_Hadoop 1]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzQ0ODQ1ZGE5MWRhZTQ1YTdiZGVjZjExMzExNzlmZTJi?x-oss-process=image/format,png
[Windows_Hadoop 2]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzFiOGMwMWM3OTUzOTRkYjBhNmQ3YTNkOGZkZGNiY2Mw?x-oss-process=image/format,png
[Windows_Hadoop 3]: https://imgconvert.csdnimg.cn/aHR0cDovL3A5LnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzhlMDFlZWY1MjIzMDQwZGFhM2YwNDAyY2YxMGMyMjRj?x-oss-process=image/format,png
[Windows_Hadoop 4]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlL2IwZDk0MWE3MDI4ZTRhOWU5ZWViNjI2M2Y4ODA1Nzg2?x-oss-process=image/format,png
[Windows_Hadoop 5]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlL2M5NTNiZjFkOWE2MjRjNDRiNDFlZWY3MmJiNzg3MTdm?x-oss-process=image/format,png
[Windows_Hadoop 6]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzFjNmM1ZmE3MGViZDQzYTI5ODVjM2FkOWNkOTQ4Mjc1?x-oss-process=image/format,png
[Windows_Hadoop 7]: https://imgconvert.csdnimg.cn/aHR0cDovL3AzLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzMxYjIyYWIyYTQxMDQ5MmNhM2E4Y2UyMTE3ZTBhODBm?x-oss-process=image/format,png
[Windows_Hadoop 8]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzQ2MTVlNzBlY2NjMDQwMzViMDE3NmE0OThhZWM5ZDZj?x-oss-process=image/format,png
[Windows_Hadoop 9]: https://imgconvert.csdnimg.cn/aHR0cDovL3AzLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzA0ZjAwMDRmMWVjNTQ4ZTJhNzkyZjAzYjkwNTYzZWEw?x-oss-process=image/format,png
[Windows_Hadoop 10]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlL2QzMjE1MDg2MjhlMTQyNzU5MGM4NzFmM2UzNmJiMjEy?x-oss-process=image/format,png
[Windows_Hadoop 11]: https://imgconvert.csdnimg.cn/aHR0cDovL3A5LnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlL2I3MmYwMjcxOGFkNjRiMGFhZWY4ZTEyODkxNzk4NDQz?x-oss-process=image/format,png
[Windows_Hadoop 12]: https://imgconvert.csdnimg.cn/aHR0cDovL3AzLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzFjZDhhZWM2Y2ZmNzRlODQ5Y2ZhOTA5YWVjOWM2ZGM1?x-oss-process=image/format,png
[Windows_Hadoop 13]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzU1ZWIxZWI1YzQ3YTRjY2JhY2VkNzJmODZkY2RkMmIw?x-oss-process=image/format,png
[Windows_Hadoop 14]: https://imgconvert.csdnimg.cn/aHR0cDovL3AzLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzA0ODgwM2QxZDRjMzQ1YzI5MjcyZDMyNDY1YWIxZDBj?x-oss-process=image/format,png
[Windows_Hadoop 15]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzdjNDZmNDlhNWI4ODQwMTI4OTFhYjMzZGE2MmNiNGYw?x-oss-process=image/format,png
[Windows_Hadoop 16]: https://imgconvert.csdnimg.cn/aHR0cDovL3AzLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlL2IzNDQzMmE4MmJkMDQ4OWU5YTFiNjUxZGYxMDEyYjli?x-oss-process=image/format,png
[Windows_Hadoop 17]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzAxMjdiZDZlMDUyMzQ5YWFiMGQ3MjQ3NTFmZDdiYjAx?x-oss-process=image/format,png
[Windows_Hadoop 18]: https://imgconvert.csdnimg.cn/aHR0cDovL3AxLnBzdGF0cC5jb20vbGFyZ2UvcGdjLWltYWdlLzQ5ZThhMmU1NWJhZjQ5ZmFiNzBmYjZmMWEzMDdlYjRi?x-oss-process=image/format,png