三十五、HDFS的FileSystem常用操作

水深无声 2022-05-08 15:12 406阅读 0赞

package com.yang.hdfs;
    
    import java.io.IOException;
    import java.net.URI;
    import java.net.URISyntaxException;
    
    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.BlockLocation;
    import org.apache.hadoop.fs.FileStatus;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.LocatedFileStatus;
    import org.apache.hadoop.fs.Path;
    import org.apache.hadoop.fs.RemoteIterator;
    import org.junit.Before;
    import org.junit.Test;
    
    public class HDFSTest {
    	
    	private FileSystem fileSystem;
    	private Configuration configuration;
    	
    	@Before
    	public void initHDFS() throws IOException, InterruptedException, URISyntaxException {
    		// 1 创建配置信息对象
    		configuration = new Configuration();
    		//设置副本数
    		//configuration.set("dfs.replication", "2");
    		/*参数优先级： 1、客户端代码中设置的值  2、classpath下的用户自定义配置文件 3、然后是服务器的默认配置*/
    		
    		// 2 获取文件系统
    		fileSystem = FileSystem.get(new URI("hdfs://hadoop14:9000"),configuration, "admin");
    		
    		// 3 打印文件系统
    		System.out.println("==========================="+fileSystem.toString());
    	}
    	
    	
    	/**
    	 * 上传
    	 * @throws Exception
    	 */
    	@Test
    	public void HDFSUpLoad() throws Exception{
    		
    		
    		//上传文件
    		fileSystem.copyFromLocalFile(new Path("G:/yang.jpg")
    				, new Path("/user/admin/mapreduce/wordcount/input/yang3.jpg"));
    		
    		//关闭资源
    		fileSystem.close();
    		System.out.println("over==================================");
    	}
    	
    	
    	/**
    	 * 下载
    	 * @throws Exception
    	 */
    	@Test
    	public void getFileFromHDFS() throws Exception{
    			
    		
    		// boolean delSrc 指是否将原文件删除
    		// Path src 指要下载的文件路径
    		// Path dst 指将文件下载到的路径
    		// boolean useRawLocalFileSystem 是否开启文件效验
    	    // 2 下载文件
    		fileSystem.copyToLocalFile(false, new Path("hdfs://hadoop14:9000//user/admin/mapreduce/wordcount/input/yang3.jpg"), 
    				                   new Path("G:/yang3.jpg"), true);
    		fileSystem.close();
    	}
    	
    	
    	/**
    	 * 创建目录
    	 * @throws Exception
    	 */
    	@Test
    	public void mkdirAtHDFS() throws Exception{
    		
    		//创建目录
    		fileSystem.mkdirs(new Path("hdfs://hadoop14:9000/admin"));
    	}
    	
    	
    	/**
    	 * 删除文件夹
    	 * @throws Exception
    	 */
    	@Test
    	public void deleteAtHDFS() throws Exception{
    		
    		
    		//删除文件夹 ，如果是非空文件夹，参数2是否递归删除，true递归
    		fileSystem.delete(new Path("hdfs://hadoop14:9000/admin"), true);
    	}
    	
    	/**
    	 * 重命名文件或文件夹
    	 * @throws Exception
    	 */
    	@Test
    	public void renameAtHDFS() throws Exception{
    		
    		//重命名文件或文件夹
    		fileSystem.rename(new Path("hdfs://hadoop14:9000/user/admin/mapreduce/wordcount/test/wc.input"), 
    				          new Path("hdfs://hadoop14:9000/user/admin/mapreduce/wordcount/test/wc1.input"));
    	}
    	
    	
    	/**
    	 * 查看文件名称、权限、长度、块信息
    	 * @throws Exception
    	 */
    	@Test
    	public void readListFiles() throws Exception {
    		
    			
    		// 思考：为什么返回迭代器，而不是List之类的容器：减少内存损耗
    		RemoteIterator<LocatedFileStatus> listFiles = fileSystem.listFiles(new Path("/"), true);
    		
    		while (listFiles.hasNext()) {
    			LocatedFileStatus fileStatus = listFiles.next();
    			System.out.println(fileStatus.getPath().getName());
    			System.out.println(fileStatus.getBlockSize());
    			System.out.println(fileStatus.getPermission());
    			System.out.println(fileStatus.getLen());
    				
    			BlockLocation[] blockLocations = fileStatus.getBlockLocations();
    			for (BlockLocation bl : blockLocations) {
    					
    				System.out.println("block-offset:" + bl.getOffset());
    					
    				String[] hosts = bl.getHosts();
    					
    				for (String host : hosts) {
    					System.out.println(host);
    				}
    			}
    				
    			System.out.println("--------------李冰冰的分割线--------------");
    		}
    	}
    	
    	
    	/**
    	 * 判断是文件还是文件夹
    	 * @throws Exception
    	 * @throws IllegalArgumentException
    	 * @throws IOException
    	 */
    	@Test
    	public void findAtHDFS() throws Exception, IllegalArgumentException, IOException{
    			
    		//获取查询路径下的文件状态信息
    		FileStatus[] listStatus = fileSystem.listStatus(new Path("/"));
    
    		//遍历所有文件状态
    		for (FileStatus status : listStatus) {
    			if (status.isFile()) {
    				System.out.println("f--" + status.getPath().getName());
    			} else {
    				System.out.println("d--" + status.getPath().getName());
    			}
    		}
    	}
    	
    	
    }

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L25ld2JpZV85MDc0ODY4NTI_size_16_color_FFFFFF_t_70_pic_center]: /images/20220506/40d9e02f1b014237a9149246ad163f89.png