轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.26 HDFS API开发之列表展示功能

青旅半醒 2024-03-22 17:52 48阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.26 HDFS API开发之列表展示功能

![在这里插入图片描述][09d261cc48354e0b9e9f482e0ae9f56a.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.26 HDFS API开发之列表展示功能 ######

稍微对上次的下载操作做个补充，

![在这里插入图片描述][7800337bed6340c28ddb9418d850bc8f.png_pic_center]

这里还有个`delSrc` 参数，如果为true，下载下来后，服务器上的文件会被删除。

![在这里插入图片描述][23729af2cb3c49c2b61eef9b4f23aada.png_pic_center]

当前`hdfsapi02` 中有这么两个文件，

再创建一个文件夹

![在这里插入图片描述][2e5de54a692a4d7f8915f7376cde1c52.png_pic_center]

![在这里插入图片描述][ba990ade4e0244488e9c92c2d75ffb23.png_pic_center]

给它来个数据

@Test
        public void put() throws IOException, URISyntaxException, InterruptedException {
        
            Path src = new Path("data/wc.data");
            Path dst = new Path("/hdfsapi02/test");
            fileSystem.copyFromLocalFile(src, dst);
        }

![在这里插入图片描述][130223c33ede4b45b9cbd55abc6ec993.png_pic_center]

运行结果

![在这里插入图片描述][9e6dc34a55c240ed82fe135a7a6e4e9b.png_pic_center]

![在这里插入图片描述][b5477e36eb9a4122b5fd1a43310e56c1.png_pic_center]

OK，下面对`hdfsapi02` 做一个展示

@Test
        public void list() throws IOException {
        
            RemoteIterator<LocatedFileStatus> files = fileSystem.listFiles(new Path("/hdfsapi02"), true);
            while (files.hasNext()) {
        
                LocatedFileStatus fileStatus = files.next();
                String isDir = fileStatus.isDirectory() ? "文件夹" : "文件";
                short replication = fileStatus.getReplication(); // 副本信息
                String permission = fileStatus.getPermission().toString(); // 权限
                long len = fileStatus.getLen();// 文件大小
                String path = fileStatus.getPath().toString();// 文件路径
    
                System.out.println(isDir + "\t" + permission + "\t" + replication + "\t" + len + "\t" + path);
    
                // 获取块信息
                BlockLocation[] blockLocations = fileStatus.getBlockLocations();
                for (BlockLocation blockLocation : blockLocations) {
        
                    String[] hosts = blockLocation.getHosts();
                    for (String host : hosts) {
        
                        System.out.println(host);
                    }
                }
            }
        }

运行结果

![在这里插入图片描述][7eb228f0bba44910a22a629f4c961f65.png_pic_center]

没问题，都在hadoop000 上

[09d261cc48354e0b9e9f482e0ae9f56a.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/3fd016d7a0e04d2d878a056e02b8b84a.png
[7800337bed6340c28ddb9418d850bc8f.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/2e090e0b0dc443f1818c9f939f2d70ce.png
[23729af2cb3c49c2b61eef9b4f23aada.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/61659b6488904446b358a7d07f35a5d8.png
[2e5de54a692a4d7f8915f7376cde1c52.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/fc1500ed705f49ef8f74fbd0edcb363a.png
[ba990ade4e0244488e9c92c2d75ffb23.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/c8e9a6ba2cb8438d9f3e489ac2e7c795.png
[130223c33ede4b45b9cbd55abc6ec993.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/205783224d9a494f819b368234081e22.png
[9e6dc34a55c240ed82fe135a7a6e4e9b.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/402a07a9e96e4d2db9cbfe56060df3cd.png
[b5477e36eb9a4122b5fd1a43310e56c1.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/af22d3d70a7c4578a70765a944801ad6.png
[7eb228f0bba44910a22a629f4c961f65.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/3a36b7b371fa412e969bb3b9676bffed.png