【hadoop】windows上hadoop环境的搭建步骤

一时失言乱红尘 2024-03-23 23:29 86阅读 0赞

#### 文章目录 ####

*   *  前言
     *  基础环境
     *   *  下载hadoop安装包
         *  下载hadoop在windows中的依赖
         *  配置环境变量
     *  Hadoop hdfs搭建
     *   *  创建hadfs数据目录
         *  修改JAVA依赖
         *  修改配置文件
         *  初始化hdfs namenode
         *  启动hdfs

### 前言 ###

在大数据开发领域中，不得不说说传统经典的hadoop基础计算框架。一般我们都会将hadoop集群部署在服务器上，但是作为一个资深搬砖人，我们本地环境也需要一个开发hadoop的开发环境。那么，今天就安排一个在windows上搭建一个hadoop环境。  
[docker部署hadoop请移步][docker_hadoop]

### 基础环境 ###

#### 下载hadoop安装包 ####

http://archive.apache.org/dist/hadoop/core/hadoop-3.3.2/  
![在这里插入图片描述][cde9be76cda24377878643339401cdc5.png]

解压。

#### 下载hadoop在windows中的依赖 ####

https://github.com/cdarlint/winutils  
![在这里插入图片描述][74e744cce30946be8de4bd018db11b82.png]

下载完成之后，解压，将3.2.2目录下的所有文件替换hadoop的bin目录下的文件：  
![在这里插入图片描述][bc7105910a9945c79e5c56a222109459.png]  
![在这里插入图片描述][c600d6b7d3ae4a0bab9d62a2414f63d1.png]

并将hadoop.dll 文件复制到C:\\Windows\\System32 目录：  
![在这里插入图片描述][ae28766080374447af5abebd9bd88205.png]

#### 配置环境变量 ####

HADOOP\_HOME= D:\\hadoop-3.2.2  
Path中添加 %HADOOP\_HOME%\\bin  
![在这里插入图片描述][19b6185f0e3c42a0a19789af4947803c.png]

cmd输入 hadoop version  
![在这里插入图片描述][f18cb6a558a346e9a5a5bae50fd8ec69.png]

表示基础环境配置成功。

> 如果需要部署本地hadoop环境（HDFS）需要继续往下操作。

### Hadoop hdfs搭建 ###

#### 创建hadfs数据目录 ####

在hadoop-3.2.2目录下创建data目录  
data目录下创建namenode和datanode存储目录  
data\\namenode  
data\\datanode  
![在这里插入图片描述][b08121b5b6f448a38214a24eab5d8d82.png]

#### 修改JAVA依赖 ####

进入目录 etc\\hadoop  
修改hadoop-env.cmd  
set JAVA\_HOME=C:\\Java\\jdk1.8.0\_271  
![在这里插入图片描述][7b93c46b30db4909b60e0edaf0628ca4.png]

#### 修改配置文件 ####

1、etc\\hadoop目录，修改hdfs-site.xml

<configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.namenode.name.dir</name>
            <value>D:\\hadoop-3.2.2\\data\\namenode</value>
        </property>
        <property>
            <name>dfs.datanode.data.dir</name>
            <value>D:\\hadoop-3.2.2\\data\\datanode</value>
        </property>
    </configuration>

2、etc\\hadoop目录，修改core-site.xml

<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>

#### 初始化hdfs namenode ####

进入hadoop-3.2.2\\bin目录，以管理员身份打开“命令提示符“  
输入 hdfs namenode -format  
看到seccessfully就说明format成功。如下图所示：  
![在这里插入图片描述][5d83ad7bcc3143d894c0cc0394fa448c.png]

#### 启动hdfs ####

进入hadoop-3.2.2\\sbin目录  
输入start-dfs.cmd，启动hdfs。  
出现以下namenode和datanode窗口  
![在这里插入图片描述][3efcfe1cc1e541d1b7913475625d6cda.png]  
![在这里插入图片描述][2908a71dc087442ab755bffdfefe085b.png]

浏览器访问：http://127.0.0.1:9870/  
![在这里插入图片描述][d4f6a51e7b644a9194974828c0a127ac.png]  
![在这里插入图片描述][e5bf9860a4c442d3b77b4a5368029e0a.png]

至此，windows上的hadoop环境搭建完成，包含基础环境变量和HDFS。

[docker_hadoop]: http://t.csdn.cn/CbdVy
[cde9be76cda24377878643339401cdc5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/62445750673e4d60986348769aa4b3b9.png
[74e744cce30946be8de4bd018db11b82.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/20b7a4a2db4c476d86185de4ac133d86.png
[bc7105910a9945c79e5c56a222109459.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/4f6e1623c45549b8a8e4bd745bfc7619.png
[c600d6b7d3ae4a0bab9d62a2414f63d1.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/db8117ea95a54e9e8a94ab94ab35f00a.png
[ae28766080374447af5abebd9bd88205.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/bb42ca06de5d4538a077840921441d4c.png
[19b6185f0e3c42a0a19789af4947803c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/164e08ff967048178ef2f1981224d32f.png
[f18cb6a558a346e9a5a5bae50fd8ec69.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/5df9fbdf41d3484da1717169e4d6e17a.png
[b08121b5b6f448a38214a24eab5d8d82.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/6e3a136961064d0e8b549d27ab316f14.png
[7b93c46b30db4909b60e0edaf0628ca4.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/1cba8cb3c57a463d9ddc2eed46b9ca8b.png
[5d83ad7bcc3143d894c0cc0394fa448c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/cb59819b4455476aa264205c1590bb5e.png
[3efcfe1cc1e541d1b7913475625d6cda.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/a11f6234bd614313b3d60e072302a350.png
[2908a71dc087442ab755bffdfefe085b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/d47ec4e93a294e37b36d099cd6f40fe3.png
[d4f6a51e7b644a9194974828c0a127ac.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/3a0bea5f0c6c4702907b3df2e1fa0e16.png
[e5bf9860a4c442d3b77b4a5368029e0a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/13/3593cfc615534a82a4b3daa83ad2a45c.png