解决java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.的错误

港控/mmm° 2023-10-16 15:27 14阅读 0赞

#### 文章目录 ####

*  1. 复现错误
 *  2. 分析错误
 *  3. 解决问题
 *   *  3.1 下载Hadoop
     *  3.2 配置Hadoop
     *  3.3 下载winutils
     *  3.4 配置winutils

## 1. 复现错误 ##

今天在运行同事给我的项目，但在项目启动时，报出如下错误：

java.io.FileNotFoundException: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset. -see https://wiki.apache.org/hadoop/WindowsProblems
    	at org.apache.hadoop.util.Shell.fileNotFoundException(Shell.java:548)
    	at org.apache.hadoop.util.Shell.getHadoopHomeDir(Shell.java:569)
    	at org.apache.hadoop.util.Shell.getQualifiedBin(Shell.java:592)
    	at org.apache.hadoop.util.Shell.<clinit>(Shell.java:689)
    	at org.apache.hadoop.util.StringUtils.<clinit>(StringUtils.java:78)
    	at org.apache.hadoop.conf.Configuration.getBoolean(Configuration.java:1665)
    	at org.apache.hadoop.security.SecurityUtil.setConfigurationInternal(SecurityUtil.java:104)
    	at org.apache.hadoop.security.SecurityUtil.<clinit>(SecurityUtil.java:88)
    	at org.apache.hadoop.security.UserGroupInformation.initialize(UserGroupInformation.java:316)
    	at org.apache.hadoop.security.UserGroupInformation.setConfiguration(UserGroupInformation.java:365)
    	at com.test.main(GetHudiSchemaByMetaStore.java:25)
    Caused by: java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.
    	at org.apache.hadoop.util.Shell.checkHadoopHomeInner(Shell.java:468)
    	at org.apache.hadoop.util.Shell.checkHadoopHome(Shell.java:439)
    	at org.apache.hadoop.util.Shell.<clinit>(Shell.java:516)
    	... 7 more

即`java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.`

## 2. 分析错误 ##

通过`java.io.FileNotFoundException: HADOOP_HOME and hadoop.home.dir are unset.`错误可知，这是未设置`HADOOP_HOME`和`hadoop.home.dir`。

`HADOOP_HOME`和`hadoop.home.dir`主要是干嘛的呢？是配置在本地环境变量中的`Hadoop地址`。

那么需要下载`Windows`版本的`Hadoop`来设置么？如果是远程连接`Linux`上的`Hadoop`集群，则完全不需要再下载安装`Windows`版本的`Hadoop`！！！

本地远程连接`Hadoop`系统时需要在本地配置相关的`Hadoop`变量，主要包括`hadoop.dll`与`winutils.exe`等。

**【注意】由于`hadoop`主要基于`linux`编写，`winutil.exe主`要用于模拟`linux`下的目录环境。**

当`Hadoop`在`windows`下运行或调用远程`Hadoop`集群的时候，需要该辅助程序才能运行。`winutils`是`Windows`中的二进制文件，适用于不同版本的`Hadoop`系统并构建在`Windows VM`上，该`VM`用以在`Windows`系统中测试`Hadoop`相关的应用程序。

## 3. 解决问题 ##

了解到原因之后，可以根据安装`Hadoop`集群的版本，下载相应的`winutils`。

### 3.1 下载Hadoop ###

如果你还没有安装`Hadoop`，可以按如下方式下载：

1.  去`hadoop`官网下载，镜像下载链接：[https://mirrors.tuna.tsinghua.edu.cn][https_mirrors.tuna.tsinghua.edu.cn]
2.  也可以下载我百度网盘中的`3.2.1`版本的：
    
     *  链接：[https://pan.baidu.com/s/1dcywut63xDFSdHIIogZUWw][https_pan.baidu.com_s_1dcywut63xDFSdHIIogZUWw]
     *  提取码：y6i4

下载完成后，会得到`hadoop-3.2.1.tar.gz`，因为我下载的是`hadoop-3.2.1`版本。

解压`hadoop-3.2.1.tar.gz`得到`hadoop-3.2.1`，复制`hadoop-3.2.1`到你想要的文件夹中。

我是把`hadoop-3.2.1`放在`D:\Software`文件夹下。

接下来，我便介绍如何配置`Hadoop`。

### 3.2 配置Hadoop ###

1.  右键此电脑，点击属性：

![在这里插入图片描述][9df479d0d86243469cad69f2ab2858c9.png]

1.  点击高级系统配置

![在这里插入图片描述][741c7d6db63442b9a8353d83f2f7102e.png]

1.  点击环境变量

![在这里插入图片描述][abcac96eff18467f8ed500f0809bfb6f.png]

1.  在环境变量中的系统变量，点击新建：

![在这里插入图片描述][218c20e7e101401d848d26b6fdeda924.png]

1.  新建系统变量，填写`变量名`和`变量值`，点击确定

*  变量名：`HADOOP_HOME`
 *  变量值：`D:\Software\hadoop-3.2.1`

![在这里插入图片描述][e8d15ea10fc64b518c159ef59bda4019.png]

1.  双击系统变量的`path`，追加`%HADOOP_HOME%\bin`

![在这里插入图片描述][cfcd430e42454955895b6bd88c333771.png]

![在这里插入图片描述][4a406ef8243a42c2bce3ad1363340725.png]

之后点击三次确定退出编辑。

1.  查看配置文件

在`hadoop-3.2.1/etc/hadoop`目录下，找到`hadoop-env.cmd`，看`jdk`目录！

如果你之前配置了`java_home`，不用修改配置：

![在这里插入图片描述][ca96708407ac4c4196f93b52905222f4.png]

如果你没有配置`java_home`，需要把`jdk`的绝对路径写上，比如：`C:\Program Files\Java\jdk1.8.0_102`。

![在这里插入图片描述][501ed520a62d4ede800341e51f83601e.png]

### 3.3 下载winutils ###

下载`winutils`，下载离你`hadoop`最近的版本使用（比如我的`hadoop3.2.1`，我下载的`winutils`是`3.1.2`），不然会出现一些列的问题。

我提供如下两种下载地址：

1.  `GitHub`下载地址：[https://github.com/steveloughran/winutils][https_github.com_steveloughran_winutils]

![在这里插入图片描述][d139e4f03aca459d9ac7c52f8efbf5f8.png]

由上图可知，截至完稿的时间，`github`上的更新到`3.0.0`，但此版本后面出现一些问题，大家尽量安装和你的`hadoop`对应的版本。

1.  `gitee`下载链接：[https://gitee.com/shockingblue/winutils][https_gitee.com_shockingblue_winutils]

![在这里插入图片描述][0c7e2a9f8156439ba5a7f9e93ca9d3d2.png]

由上图可知，截至完稿的时间，`gitee`上的更新到`3.2.1`，相对`github`上的版本较多。

或者，从我的网盘中下载`winutils`：

1.  链接：[https://pan.baidu.com/s/1EG67gZ4MLbHONTdUci4cXg][https_pan.baidu.com_s_1EG67gZ4MLbHONTdUci4cXg]
2.  提取码：orab

### 3.4 配置winutils ###

1.  找到`3.1.2`版本`winutils`的`bin`文件夹

![在这里插入图片描述][a4640387a5a74edcbe7b280b1e0be245.png]

1.  用该目录覆盖掉`hadoop`的`bin`目录。

![在这里插入图片描述][9c79a718709645ea99f6268e9b0068d1.png]

1.  复制成功之后，会看到下面那个`winutils.exe`文件：

![在这里插入图片描述][4bef069eddd941b7b8cd350d0ab5e8fe.png]

1.  替换后将`bin`下面的`hadoop.dll`拷贝到`C:\Windows\System32`目录下

![在这里插入图片描述][bc31502a6a5447418a62d4b4dacc8072.png]

1.  大功告成，**记得重启`idea`**

配置完成后，一定要重启`idea`！否则，配置不生效

[https_mirrors.tuna.tsinghua.edu.cn]: https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
[https_pan.baidu.com_s_1dcywut63xDFSdHIIogZUWw]: https://pan.baidu.com/s/1dcywut63xDFSdHIIogZUWw
[9df479d0d86243469cad69f2ab2858c9.png]: https://img-blog.csdnimg.cn/9df479d0d86243469cad69f2ab2858c9.png
[741c7d6db63442b9a8353d83f2f7102e.png]: https://img-blog.csdnimg.cn/741c7d6db63442b9a8353d83f2f7102e.png
[abcac96eff18467f8ed500f0809bfb6f.png]: https://img-blog.csdnimg.cn/abcac96eff18467f8ed500f0809bfb6f.png
[218c20e7e101401d848d26b6fdeda924.png]: https://img-blog.csdnimg.cn/218c20e7e101401d848d26b6fdeda924.png
[e8d15ea10fc64b518c159ef59bda4019.png]: https://img-blog.csdnimg.cn/e8d15ea10fc64b518c159ef59bda4019.png
[cfcd430e42454955895b6bd88c333771.png]: https://img-blog.csdnimg.cn/cfcd430e42454955895b6bd88c333771.png
[4a406ef8243a42c2bce3ad1363340725.png]: https://img-blog.csdnimg.cn/4a406ef8243a42c2bce3ad1363340725.png
[ca96708407ac4c4196f93b52905222f4.png]: https://img-blog.csdnimg.cn/ca96708407ac4c4196f93b52905222f4.png
[501ed520a62d4ede800341e51f83601e.png]: https://img-blog.csdnimg.cn/501ed520a62d4ede800341e51f83601e.png
[https_github.com_steveloughran_winutils]: https://github.com/steveloughran/winutils
[d139e4f03aca459d9ac7c52f8efbf5f8.png]: https://img-blog.csdnimg.cn/d139e4f03aca459d9ac7c52f8efbf5f8.png
[https_gitee.com_shockingblue_winutils]: https://gitee.com/shockingblue/winutils
[0c7e2a9f8156439ba5a7f9e93ca9d3d2.png]: https://img-blog.csdnimg.cn/0c7e2a9f8156439ba5a7f9e93ca9d3d2.png
[https_pan.baidu.com_s_1EG67gZ4MLbHONTdUci4cXg]: https://pan.baidu.com/s/1EG67gZ4MLbHONTdUci4cXg
[a4640387a5a74edcbe7b280b1e0be245.png]: https://img-blog.csdnimg.cn/a4640387a5a74edcbe7b280b1e0be245.png
[9c79a718709645ea99f6268e9b0068d1.png]: https://img-blog.csdnimg.cn/9c79a718709645ea99f6268e9b0068d1.png
[4bef069eddd941b7b8cd350d0ab5e8fe.png]: https://img-blog.csdnimg.cn/4bef069eddd941b7b8cd350d0ab5e8fe.png
[bc31502a6a5447418a62d4b4dacc8072.png]: https://img-blog.csdnimg.cn/bc31502a6a5447418a62d4b4dacc8072.png