HDFS API 操作之目录创建、文件上传、配置优先级

古城微笑少年丶 2022-02-24 19:59 428阅读 0赞

## 目录创建 ##

@Test
    public void testMkdir() throws Exception { 
    
        //1 获取文件系统
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "root");
    
        //2 上传文件
        fs.mkdirs(new Path("/demo/test"));
    
        //3 关闭资源
        fs.close();
    
        System.out.println("~ok~");
    
    }

## 文件上传 ##

@Test
    public void testCopyFromLocalFile() throws Exception { 
    
        //1 获取文件系统
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "root");
    
        //2 上传文件
        fs.mkdirs(new Path("/demo/test"));
    
        //3 关闭资源
        fs.close();
    
        System.out.println("~ok~");
    
    }

![\-w862][-w862]

![\-w1192][-w1192]

## 参数优先级 ##

#### 在resource中添加配置文件`hdfs-site.xml` ####

<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
    </configuration>

执行文件上传test

![\-w1208][-w1208]

#### 代码中添加配置 ####

configuration.set("dfs.replication", "2");

@Test
    public void testCopyFromLocalFile() throws Exception { 
    
        //1 获取文件系统
        Configuration conf = new Configuration();
        conf.set("dfs.replication", "2");
    
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "root");
    
        //2 上传文件
        fs.copyFromLocalFile(new Path("/Users/ylj/demo/readme.md"),new Path("/demo/test/readme-3.md"));
    
        //3 关闭资源
        fs.close();
    
        System.out.println("~ok~");
    
    }

执行文件上传test

![\-w1185][-w1185]

#### 结论 ####

参数优先级排序:

1.  客户端代码中设置的值
2.  classpath下的用户自定义配置文件
3.  服务器的默认配置

[-w862]: /images/20220225/8c484d64e5ef4b64afcc1bfa52be6e57.png
[-w1192]: /images/20220225/8c6d7f65e5de479c9371148f1dec51e0.png
[-w1208]: /images/20220225/de9f15d942ce462797b82ee95f6c29d7.png
[-w1185]: /images/20220225/9dc10be78b4643e4b883c6a606066194.png