4、eclipse + vmware + hadoop环境搭建

男娘i 2023-06-07 12:10 115阅读 0赞

### 文章目录 ###

*  一、配置hadoop环境
 *  二、配置eclipse远程连接hadoop环境
 *  三、HDFS demo示例

需求：已在vmware中部署好了hadoop集群，现在需通过window系统上eclipse连接hadoop进行开发。

# 一、配置hadoop环境 #

在window系统上配置hadoop环境。目前利用hadoop版本为[hadoop-2.7.2][]。下载或者编译好hadoop2.7.2后，环境配置如下  
配置HADOOP\_HOME  
![在这里插入图片描述][20191014223543865.PNG]  
配置path  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA1MDIxMDE_size_16_color_FFFFFF_t_70]  
配置好hadoop环境后，在cmd中测试是否生效  
命令：`hadoop version`  
注：在配置hadoop之前一定要配置好JDK环境。

# 二、配置eclipse远程连接hadoop环境 #

若想在eclipse中开发hadoop，需配置eclipse环境。下载[hadoop-eclipse-plugin-2.7.2.jar][]，下载的jar包复制到plugins中，然后重启eclipse，在eclipse中配置前面下载的hadoop-2.7.2  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA1MDIxMDE_size_16_color_FFFFFF_t_70 1]  
打开hadoop视图  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA1MDIxMDE_size_16_color_FFFFFF_t_70 2]  
然后配置连接hadoop集群的信息  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA1MDIxMDE_size_16_color_FFFFFF_t_70 3]  
配置正确hadoop的信息后，可以在eclipse目录中查看HDFS的目录信息  
![在这里插入图片描述][2019101422565264.PNG]

# 三、HDFS demo示例 #

注意首先要配置好maven，最好不用ecliopse嵌入的maven，楼主试用demo时有问题，部分jar包下不来。  
首先创建一个maven工程，在pom中添加如下依赖：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
      <modelVersion>4.0.0</modelVersion>
      <groupId>com.lzj</groupId>
      <artifactId>hdfs</artifactId>
      <version>0.0.1-SNAPSHOT</version>
      
    	<dependencies>
    		<dependency>
    			<groupId>junit</groupId>
    			<artifactId>junit</artifactId>
    			<version>RELEASE</version>
    		</dependency>
    		<dependency>
    			<groupId>org.apache.logging.log4j</groupId>
    			<artifactId>log4j-core</artifactId>
    			<version>2.8.2</version>
    		</dependency>
    		<dependency>
    			<groupId>org.apache.hadoop</groupId>
    			<artifactId>hadoop-common</artifactId>
    			<version>2.7.2</version>
    		</dependency>
    		<dependency>
    			<groupId>org.apache.hadoop</groupId>
    			<artifactId>hadoop-client</artifactId>
    			<version>2.7.2</version>
    		</dependency>
    		<dependency>
    			<groupId>org.apache.hadoop</groupId>
    			<artifactId>hadoop-hdfs</artifactId>
    			<version>2.7.2</version>
    		</dependency>
    		<dependency>
    			<groupId>jdk.tools</groupId>
    			<artifactId>jdk.tools</artifactId>
    			<version>1.8</version>
    			<scope>system</scope>
    			<systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    		</dependency>
    		
    		
    	</dependencies>
      
    </project>

然后在main/resources下创建log4j.properties，配置日志：

log4j.rootLogger=INFO, stdout
    log4j.appender.stdout=org.apache.log4j.ConsoleAppender
    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
    log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
    log4j.appender.logfile=org.apache.log4j.FileAppender
    log4j.appender.logfile.File=target/spring.log
    log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
    log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

创建开发测试案例：

package com.lzj.hdfs;
    
    import java.net.URI;
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    
    public class HadoopTest {
    
    	public static void main(String[] args) throws Exception {
    		Configuration config = new Configuration();
    		FileSystem fs = FileSystem.get(new URI("hdfs://192.168.85.137:9000"), config, "root");
    		fs.mkdirs(new Path("/user/bird"));
    		fs.close();
    		System.out.println("success!");
    	}
    
    }

工程目录如下：  
![在这里插入图片描述][20191014230254330.PNG]  
下面启动上面的HadoopTest案例，运行成功后可以在HDFS系统上看到创建了一个bird目录，如图所示：  
![在这里插入图片描述][20191014230557106.PNG]  
成功！

[hadoop-2.7.2]: https://pan.baidu.com/s/1HQ-0y5kJpvWW6M5BhaqsSA
[20191014223543865.PNG]: /images/20230601/4195775f33c040dbafa55b9a6fb6cf2a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA1MDIxMDE_size_16_color_FFFFFF_t_70]: /images/20230601/c32d85f5c4a94c06b177ce8aa5bf257e.png
[hadoop-eclipse-plugin-2.7.2.jar]: https://pan.baidu.com/s/1jN9OmKyO5sUudFhNBzp2Ng
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA1MDIxMDE_size_16_color_FFFFFF_t_70 1]: /images/20230601/58388713cf574fceb84b146f054d3474.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA1MDIxMDE_size_16_color_FFFFFF_t_70 2]: /images/20230601/cda46754caf746978d252ac105b05de0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3UwMTA1MDIxMDE_size_16_color_FFFFFF_t_70 3]: /images/20230601/9bb1aa34db574fc386f913e70d1ec6d8.png
[2019101422565264.PNG]: /images/20230601/56ae6bb9fa6f4627adea067f94e34d3c.png
[20191014230254330.PNG]: /images/20230601/b327794d918c48c0b93968ced112177d.png
[20191014230557106.PNG]: /images/20230601/99b74160d6fd4ff3b6767c02de5cc5ec.png