轻松入门大数据第3章入门到进阶：系统玩转分布式文件系统HDFS 3.1 Hadoop之HDFS 3.1.24 HDFS API开发之代码重构

悠悠 2024-03-22 17:51 51阅读 0赞

### 轻松入门大数据 ###

#### 文章目录 ####

*   *  轻松入门大数据
     *   *  第3章 入门到进阶：系统玩转分布式文件系统HDFS
         *   *  3.1 Hadoop之HDFS
             *   *  3.1.24 HDFS API开发之代码重构

![在这里插入图片描述][38aad1b798324224b309e6d355f0b092.png_pic_center]

#### 第3章 入门到进阶：系统玩转分布式文件系统HDFS ####

##### 3.1 Hadoop之HDFS #####

> 1.  初识HDFS
> 2.  HDFS假设和目标
> 3.  HDFS架构
> 4.  文件系统命名空间
> 5.  副本
> 6.  HDFS优缺点
> 7.  单节点HDFS部署
> 8.  HDFS命令行使用
> 9.  HDFS Java API使用
> 10. HDFS读写数据流程
> 11. 工作机制
> 12. 安全模式

###### 3.1.24 HDFS API开发之代码重构 ######

现在我们的测试类中，可以看到

![在这里插入图片描述][11a48c3648bd46588c4c22528d695d8d.png_pic_center]

每个方法都有很多的重复代码，这样我们就可以用到Junit 的生命周期那几个注解了

package com.dingjiaxiong.hdfs;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;
    import org.junit.After;
    import org.junit.Assert;
    import org.junit.Before;
    import org.junit.Test;
    
    import java.io.IOException;
    import java.net.URI;
    import java.net.URISyntaxException;
    
    /**
     * @Author Ding Jiaxiong
     * @Date 5/7/23 10:23 AM
     */
    public class HDFSApp02 {
        
    
        FileSystem fileSystem;
    
        @Before
        public void setup() throws Exception {
        
            System.out.println("setup");
            System.setProperty("HADOOP_USER_NAME", "hadoop");
            Configuration configuration = new Configuration();
            configuration.set("fs.defaultFS", "hdfs://hadoop000:8020");
    //        configuration.set("dfs.client.use.datanode.hostname", "true");
            fileSystem = FileSystem.get(configuration);
        }
    
        @After
        public void tearDown() throws Exception {
        
            System.out.println("tearDown");
            if (fileSystem != null) {
        
                fileSystem.close();
            }
        }
    
        @Test
        public void put() throws IOException, URISyntaxException, InterruptedException {
        
            Path src = new Path("data/wc.data");
            Path dst = new Path("/hdfsapi02/wc3.data");
            fileSystem.copyFromLocalFile(src, dst);
        }
    
    }

运行结果

![在这里插入图片描述][1f24e1f1080049f6afb173a1f3dd1049.png_pic_center]

绿了，查看结果

![在这里插入图片描述][ec7a7e47cb02440a808dc7ea261453f9.png_pic_center]

没问题。

这样每个方法看起来就会简洁很多。

[38aad1b798324224b309e6d355f0b092.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/59eaed426c6f4010b568b7bac33adc6f.png
[11a48c3648bd46588c4c22528d695d8d.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/e97e500970f846a3bcfcc8a52aeab004.png
[1f24e1f1080049f6afb173a1f3dd1049.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/6247e478fa384e109e79dee67535923e.png
[ec7a7e47cb02440a808dc7ea261453f9.png_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/18/56c87546af8b4d6ab6ea4da3b35cac34.png