Eclipse 安装Hadoop 插件

刺骨的言语ヽ痛彻心扉 2023-10-18 15:08 109阅读 0赞

基础环境资源：

eclipse 版本：Mars.2 Release (4.5.2)

Hadoop 版本：Hadoop3.0.0

eclipse-hadoop-plugin 插件版本：hadoop-eclipse-plugin-2.6.0.jar

Hadoop 环境：单机伪集群（本机地址：192.168.1.74）

第一步：修改Hadoop相关配置文件：core-site.xml 、 hdfs-site.xml

文件位置（C:\\hadoop\\hadoop-3.0.0\\etc\\hadoop\\core.site）

<configuration>
        <property>
            <name>fs.default.name</name>
            <!-- 默认Hadoop 文件系统访问地址，建议不要使用localhost>
            <value>hdfs://192.168.1.74:9000</value>
        </property>
    </configuration>

文件位置（C:\\hadoop\\hadoop-3.0.0\\etc\\hadoop\\hdfs-site.xml）

<configuration>
        
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        
        <property> 
         <name>dfs.permissions</name> 
         <value>false</value> 
      </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>/c:/hadoop/data/namenode</value>
       </property>
       <property>
            <name>fs.checkpoint.dir</name>
            <value>/c:/hadoop/data/snn</value>
        </property>
        <property>
            <name>fs.checkpoint.edits.dir</name>
            <value>/c:/hadoop/data/snn</value>
        </property>
           <property>
           <name>dfs.datanode.data.dir</name>
           <value>/c:/hadoop/data/datanode</value>
       </property>
    </configuration>

第二步：eclipse 集成eclipse-hadoop-plugin 插件

1、复制插件到eclipse安装目录/plugins/ 下。  
2、 重启eclipse，会出现这个。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70][]

3、配置hadoop installation directory

打开windows->preferens,找到Hadoop Map/Reduce选项，在这个选项里你需要配置Hadoop installation directory。配置完成后退出。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70 1][]

4、 配置Map/Reduce Locations

在上图中的Mapreduce Loccations窗口，点击小象，窗口在window-》show view-》other里面也可以找到。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70 2][]

5、 点击finish，正常的话，就连接上了。我的hdfs中的内容如下

![20190304170657760.png][]

遇到的问题：

（1）Error:call from yawenchen-PC/192.168.1.74 to 92.168.1.74:9000 failed on connection exception:java.net.ConnectException:Connection refused:no further information;

![20190304170845637.png][]

同时，windows，使用命令，hadoop fs -ls hdfs://10.34.11.65:9000/flume(flume是我在hadoop上建的目录)，

出现的原因，虚拟机存在内部ip和外部ip，之前的配置core-site.xml配置如下：

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

eclipse 无法通过外部ip 192.168.1.74：9000访问到localhost：9000，需要修改配置，localhost改为虚拟机的内部ip192.168.1.74

<name>fs.defaultFS</name>

</property>

</configuration>

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20190304170458702.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70 1]: https://img-blog.csdnimg.cn/20190304170546904.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n_size_16_color_FFFFFF_t_70 2]: https://img-blog.csdnimg.cn/20190304170627651.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3V6aGl3ZW5nYW5n,size_16,color_FFFFFF,t_70
[20190304170657760.png]: https://img-blog.csdnimg.cn/20190304170657760.png
[20190304170845637.png]: https://img-blog.csdnimg.cn/20190304170845637.png