JAVA操作HDFS案例的简单实现

怼烎@ 2022-06-13 10:17 141阅读 0赞

**Jar包引入，pom.xml：**

**\[html\]**  [view plain][]   [copy][view plain]

1.  **<****dependency****>**  
2.    **<****groupId****>**org.apache.hadoop**</****groupId****>**  
3.    **<****artifactId****>**hadoop-common**</****artifactId****>**  
4.    **<****version****>**2.8.0**</****version****>**  
5.  **</****dependency****>**  
6.  **<****dependency****>**  
7.    **<****groupId****>**org.apache.hadoop**</****groupId****>**  
8.    **<****artifactId****>**hadoop-hdfs**</****artifactId****>**  
9.    **<****version****>**2.8.0**</****version****>**  
10. **</****dependency****>**

**将本地文件上传到hdfs服务器:**

**\[java\]**  [view plain][]   [copy][view plain]

1.  /\*\* 
2.   \* 上传文件到hdfs上 
3.   \*/  
4.  @Test  
5.  **public** **void** upload() **throws** IOException \{  
6.      Configuration conf = **new** Configuration();  
7.      conf.set("fs.defaultFS","hdfs://hzq:9000");  
8.      FileSystem fs = FileSystem.get(conf);  
9.      fs.copyFromLocalFile(**new** Path("/home/hzq/jdk1.8.tar.gz"),**new** Path("/demo"));  
10. \}

解析：

在开发中我没有引入“core-site.xml”配置文件，所以在本地调用时使用conf进行配置“conf.set("fs.defaultFS","hdfs://hzq:9000");“，下面雷同。

**将hdfs上文件下载到本地：**

**\[java\]**  [view plain][]   [copy][view plain]

1.  /\*\* 
2.   \* 将hdfs上文件下载到本地 
3.   \*/  
4.  @Test  
5.  **public** **void** download() **throws** IOException \{  
6.      Configuration conf = **new** Configuration();  
7.      conf.set("fs.defaultFS","hdfs://hzq:9000");  
8.      FileSystem fs = FileSystem.newInstance(conf);  
9.      fs.copyToLocalFile(**new** Path("/java/jdk1.8.tar.gz"),**new** Path("/home/hzq/"));  
10. \}

删除hdfs上指定文件：

**\[java\]**  [view plain][]   [copy][view plain]

1.  /\*\* 
2.   \* 删除hdfs上的文件 
3.   \* @throws IOException 
4.   \*/  
5.  @Test  
6.  **public** **void** removeFile() **throws** IOException \{  
7.      Configuration conf = **new** Configuration();  
8.      conf.set("fs.defaultFS","hdfs://hzq:9000");  
9.      FileSystem fs = FileSystem.newInstance(conf);  
10.     fs.delete(**new** Path("/demo/jdk1.8.tar.gz"),**true**);  
11. \}

在hdfs上创建文件夹：

**\[java\]**  [view plain][]   [copy][view plain]

1.  /\*\* 
2.   \* 在hdfs更目录下面创建test1文件夹 
3.   \* @throws IOException 
4.   \*/  
5.  @Test  
6.  **public** **void** mkdir() **throws** IOException \{  
7.      Configuration conf = **new** Configuration();  
8.      conf.set("fs.defaultFS","hdfs://hzq:9000");  
9.      FileSystem fs = FileSystem.newInstance(conf);  
10.     fs.mkdirs(**new** Path("/test1"));  
11. \}

列出hdfs上所有的文件或文件夹：

**\[java\]**  [view plain][]   [copy][view plain]

1.  @Test  
2.     **public** **void** listFiles() **throws** IOException \{  
3.         Configuration conf = **new** Configuration();  
4.         conf.set("fs.defaultFS","hdfs://hzq:9000");  
5.         FileSystem fs = FileSystem.newInstance(conf);  
6.         // true 表示递归查找  false 不进行递归查找  
7.         RemoteIterator<LocatedFileStatus> iterator = fs.listFiles(**new** Path("/"), **true**);  
8.         **while** (iterator.hasNext())\{  
9.             LocatedFileStatus next = iterator.next();  
10.            System.out.println(next.getPath());  
11.        \}  
12.        System.out.println("----------------------------------------------------------");  
13.        FileStatus\[\] fileStatuses = fs.listStatus(**new** Path("/"));  
14.        **for** (**int** i = 0; i < fileStatuses.length; i++) \{  
15.            FileStatus fileStatus = fileStatuses\[i\];  
16.            System.out.println(fileStatus.getPath());  
17.        \}  
18.    \}

运行结果：

![Center][]  
  
**结果分析：**

“listFiles“列出的是hdfs上所有文件的路径，不包括文件夹。根据你的设置，支持递归查找。

”listStatus“列出的是所有的文件和文件夹，不支持递归查找。如许递归，需要自己实现。

[view plain]: http://blog.csdn.net/mmd0308/article/details/74276564#
[Center]: /images/20220613/aa8e45a3a3024b138b066283054999c0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，141人围观）

还没有评论，来说两句吧...

相关阅读

相关 Java实现hdfs的8个api操作

Java实现hdfs的8个api操作一、预处理准备 1. 配置本地hadoop3.1.3目录文件 2. 配置环境变

待我称王封你为后i/ 2023年09月26日 20:16/ 0 赞/ 114 阅读

相关【Hadoop】熟悉常用的HDFS操作（Java实现）

> 一、实验目的 > > 1. 理解HDFS在Hadoop体系结构中的角色； > > 2. 熟练使用HDFS操作常用的Shell命令； > > 3. 熟悉HDFS操作

向右看齐/ 2023年07月13日 12:16/ 0 赞/ 19 阅读

相关 HDFS-JAVA API操作

![format_png][] “师傅领进门，修行靠

不念不忘少年蓝@/ 2023年06月27日 12:40/ 0 赞/ 99 阅读

相关 Java操作HDFS

我们使用maven作为依赖管理，首先添加依赖 <dependency> <groupId>org.apache.hadoop</groupId>

川长思鸟来/ 2023年01月23日 08:52/ 0 赞/ 229 阅读

相关 JAVA操作HDFS案例的简单实现

Jar包引入，pom.xml： \[html\] [view plain][] [copy][view plain] 1. <dependency> 2.

怼烎@/ 2022年06月13日 10:17/ 0 赞/ 142 阅读

相关 hadoop_代码实现hdfs操作

使用hadoop命令或者页面查看现有HDFS中目录结构： / /usr /local /testFile.txt /testFil

╰+哭是因爲堅強的太久メ/ 2022年05月25日 06:23/ 0 赞/ 240 阅读

相关 Java操作HDFS

Java操作HDFS maven仓库【阿里仓库--支持chd的下载】配置文件 <mirror>

￡神魔★判官ぃ/ 2022年05月16日 06:06/ 0 赞/ 278 阅读

相关 hadoop-hdfs,java操作hdfs

1.创建一个maven项目引入 1.相关的pom依赖: <dependency> <gro

迷南。/ 2022年05月14日 07:20/ 0 赞/ 378 阅读

相关 Java程序操作HDFS

1.新建项目 2.导包解压hadoop-2.7.3.tar.gz E:\\工具\\大数据\\大数据提升资料\\01-软件资料\\06-Hadoop\\安装包\\Ja

快来打我*/ 2021年10月29日 08:48/ 0 赞/ 356 阅读

相关 java操作hdfs

在eclipse中创建一个java工程，然后导入hadoop中的7个jar包(如图)；如果为了方便调试hadoop源码，可以关联到hadoop的源码。 ![Center][]

亦凉/ 2021年05月12日 11:51/ 0 赞/ 523 阅读