Hdfs/代码总结

短命女 2022-08-08 12:55 102阅读 0赞

1.计算hdfs上文件大小

对每个文件，filestatus.getLen()。

2.获取当前正在运行job的数量

Configuration conf=new Configuration();

conf.set("mapred.job.tracker","URL");

JobClient client=new JobClient(new JobConf(conf));

client.getQueues()\[0\].getQueueName();

client.getJobsFromQueue(client.getQueues()\[0\].getQueueName()).length;

3.删除hdfs上的文件

Configuration conf = new Configuration();  
  FileSystem hdfs = FileSystem.get(URI.create(path),conf);  
  hdfs.delete(new Path(path),false);

4.在hdfs上创建文件

Configuration  conf=new Configuration();

FileSystem  hdfs=FileSystem.get(conf);

byte\[\]  buff="hello ".getBytes();

Path dfs=new Path("xxx");

FSDataOutputStream  outputstream=hdfs.create(dfs);

outputStream.write(buff,0,buff,length);

5.在hdfs上创建目录

Configuration conf=new Configuration();

FileSystem hdfs=FileSystem.get(conf);

Path dfs=new Path("xxx");

hdfs.mkdirs(dfs);

6.重命名hdfs上的文件

Configuration conf=new Configuration();

FileSystem hdfs=FileSystem.get(conf);

boolean  isRename=hdfs.rename(srcpath,dstpath);

7.查找文件在hdfs集群的位置

Configuration  conf=new Configuration();

FileSystem  hdfs=FileSystem.get(conf);

Path  srcpath=new Path("xxx");

FileStatus  filestatus=hdfs.getFileStatus(srcpath);

BlockLocation\[\]  blklocations=hdfs.getFileBlockLocations(filestatus,0,filestatus.getLen());

int  blockLen=blkLocations.length;

for(int i=0; i< blockLen;i++)

\{

String\[\]  hosts=blkLocations\[i\].getHosts();

System.out.println("block\_"+i+"\_location:"+hosts\[0\]);

\}

发表评论取消回复

表情：

评论列表（有 0 条评论，102人围观）

还没有评论，来说两句吧...

相关阅读

相关 HDFS学习总结

1. 什么是HDFS Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件...

r囧r小猫/ 2024年04月17日 21:25/ 0 赞/ 62 阅读

相关 HDFS 详【总结篇】

HDFS 详解 1.HDFS是什么？ 2.HDFS 从何而来 3.为什么选择 HDFS 存储数据 4.HDFS三个服务 4.1Clie

谁践踏了优雅/ 2022年12月24日 01:59/ 0 赞/ 283 阅读

相关 HDFS -- 总结

文章目录 HDFS 什么是HDFS 有什么用 NameNode和

冷不防/ 2022年11月15日 15:52/ 0 赞/ 159 阅读

相关 hdfs 客户端java 代码

<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/P

雨点打透心脏的1/2处/ 2022年10月07日 01:59/ 0 赞/ 205 阅读

相关 Hdfs/代码总结

1.计算hdfs上文件大小对每个文件，filestatus.getLen()。 2.获取当前正在运行job的数量 Configuration conf=new

短命女/ 2022年08月08日 12:55/ 0 赞/ 103 阅读

相关 hadoop_代码实现hdfs操作

使用hadoop命令或者页面查看现有HDFS中目录结构： / /usr /local /testFile.txt /testFil

╰+哭是因爲堅強的太久メ/ 2022年05月25日 06:23/ 0 赞/ 227 阅读

相关 HDFS代码分析-RPC框架

什么是RPC框架: RPC（Remote Procedure Call）—[远程过程调用][Link 1]，它是一种通过[网络][Link 2]从远程计算机程序上请求服务

古城微笑少年丶/ 2022年03月10日 12:18/ 0 赞/ 171 阅读

相关 HDFS知识点总结

HDFS永久性数据结构分析一.namenode文件目录 VERSION:包含运行hdfs的版本信息 layoutVersion属性:hdfs数据结构的版本

川长思鸟来/ 2022年02月15日 01:45/ 0 赞/ 114 阅读

相关六、Hadoop基本原理总结—HDFS

一、主要组成模块 Hadoop Distributed File System（HDFS）：分布式文件存储系统。 MapReduce：并行计算框架（可以自定义计算逻辑的

淩亂°似流年/ 2021年11月11日 00:01/ 0 赞/ 407 阅读

相关 HDFS总结思维导图

HDFS总结 HDFS HDFS存储管理各个角色及作用 NameNode

Love The Way You Lie/ 2021年09月27日 14:12/ 0 赞/ 359 阅读