intellij idea本地配置连接远程hadoop集群开发

小灰灰 2022-04-18 02:24 1286阅读 0赞

自己研究大数据一年多了，虽然技术上有很多提高，但是有个问题就是一直没法使用本地联调集群，每次都是写完打包放到集群执行。最近发现可以本地直接连接远程联调，大大提高了开发效率，分享一下。

1、下载hadoop，配置到本地环境变量中，路径中最好不要有空格或下划线  
环境变量：  
![Snipaste\_2018-11-07\_09-59-20.png-26.4kB][Snipaste_2018-11-07_09-59-20.png-26.4kB]

2、修改项目的pom.xml

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-hdfs</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-jobclient</artifactId>
        <version>${hadoop.version}</version>
    </dependency>
    <dependency>
        <groupId>commons-cli</groupId>
        <artifactId>commons-cli</artifactId>
        <version>1.3.1</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-client</artifactId>
        <version>${hadoop.version}</version>
    </dependency>

3、把集群中core-site.xml和hdfs-site.xml两个文件拿下来，放到项目中resources目录下

4、设置Intellij idea中运行变量：  
![Snipaste\_2018-11-07\_10-01-54.png-71.2kB][Snipaste_2018-11-07_10-01-54.png-71.2kB]  
这里的working directory设置为hadoop的安装地址。至于上面的Program arguments，这是设置运行时传递的参数，可以传值，直接编写到程序中也可以。  
**这个地方遇到了坑，网上都是设置的单机IP地址加端口**，比如`hdfs://192.168.xx.xx:9000/...`这种样式的，我也一直测试但都是报不能连接9000端口。还一直以为自己哪里配错了。但是后来想明白了，既然是连接操作hdfs，那应该是8020端口，换了之后果然连通了。\*\*如果这里用的是IP地址加端口，那resources中core-site.xml中也要使用同样的。\*\*我这里使用的是集群名称的方式，resources中core-site.xml中也要使用同样的方式。如果两个不一样，会报错误。**不建议使用IP的方式，假如配置使用的IP在启动的时候是standby角色的namenode，执行的时候会报不能写的错误，所以最好是使用`hdfs://集群服务名`这种方式。**

5、这个时候执行会报错：`Unable to load native-hadoop library for your platform… using builtin-Java classes where applicable`，需要下载hadoop.dll，然后替换掉本地hadoop中bin目录下的文件。至于winutils.exe，我是没有替换也能正常执行，可换可不换。  
下载地址：

> [https://download.csdn.net/download/a\_bang/10769552][https_download.csdn.net_download_a_bang_10769552]

6、执行继续报错  
`org.apache.hadoop.security.AccessControlException: Permission denied: user=ZhOu, access=WRITE, inode="/app":root:supergroup:drwxr-xr-x`，很明显是用户权限问题，网上找了一下，有很多解决方案，有兴趣的可以研究研究。这里提供一个简单的方案，就是不校验权限：修改hdfs-site.xml，本地和集群都要修改，然后集群还要重启namenode。

<property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>

7、做到这里，就可以正常执行了。不需要每次打包放到线上执行了。Spark项目也是一样的做法，只是把working directory设置为spark的安装路径即可。

[Snipaste_2018-11-07_09-59-20.png-26.4kB]: /images/20220418/9fc8e7c07d1f423fba2a162726c2191a.png
[Snipaste_2018-11-07_10-01-54.png-71.2kB]: /images/20220418/9a363b8587e7431b8da7e225576c6568.png
[https_download.csdn.net_download_a_bang_10769552]: https://download.csdn.net/download/a_bang/10769552