HDFS的操作SHELL和API

Love The Way You Lie 2022-04-25 02:00 248阅读 0赞

HDFS的shell操作和JavaAPI的使用：

## WEB ##

*  WEB端口50090查看SecondaryNameNode信息。可以查看Hadoop的版本，NameNode的IP，Checkpoint等信息。

![FBatc4.md.png][]

*  WEB端口50070可以查看HDFS的信息和目录结构
    
    ![FBay9O.md.png][]

![FBacge.png][]

## SHELL ##

#### 查看 ####

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 2 3 4 </pre></td> 
 <td><pre>hdfs dfs -ls [-d][-h][-R] &lt;paths&gt; [-d]:返回path [-h]:按照KMG数据大小单位显示文件大小，默认B [-R]:级联显示paths下文件 </pre></td> 
 </tr> 
 </tbody> 
</table>

#### 创建文件夹 ####

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 </pre></td> 
 <td><pre>hdfs dfs -mkdir [-p]&lt;paths&gt; </pre></td> 
 </tr> 
 </tbody> 
</table>

#### 新建文件 ####

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 </pre></td> 
 <td><pre>hdfs dfs -touchz&lt;paths&gt; </pre></td> 
 </tr> 
 </tbody> 
</table>

#### 查看文件 ####

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 2 3 </pre></td> 
 <td><pre>hdfs dfs -cat/[-ignoreCrc] [src] hdfs dfs -text -ignoreCrc /input/test #忽略校验 hdfs dfs -cat -ignoreCrc /input/test </pre></td> 
 </tr> 
 </tbody> 
</table>

#### 追写文件 ####

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 2 </pre></td> 
 <td><pre>hdfs dfs --appendToFile &lt;localsrc&gt; &lt;dst&gt; 如果localsrc为"-"表示数据来自键盘输入用"Ctrc+C"取消输入 </pre></td> 
 </tr> 
 </tbody> 
</table>

#### 上传下载 ####

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 2 </pre></td> 
 <td><pre>hdfs dfs -put [-f][-p]&lt;localsrc&gt; &lt;dst&gt; # 上传到指定目录 hdfs dfs -get [-p]&lt;src&gt; &lt;localhost&gt; # 现在到本地 </pre></td> 
 </tr> 
 </tbody> 
</table>

#### 删除文件 ####

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 2 3 </pre></td> 
 <td><pre>hdfs dfs -rm [-f] [-r] &lt;src&gt; -f 如果要删除的文件不存在,不显示错误信息 -r/R 级联删除目录下所有文件和子目录文件 </pre></td> 
 </tr> 
 </tbody> 
</table>

#### 磁盘空间 ####

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 2 3 </pre></td> 
 <td><pre>hdfs dfs -du[-s][-h]&lt;path&gt; [-s]显示指定目录所占空间大小 [-h]按照K M G 数据显示文件大小 </pre></td> 
 </tr> 
 </tbody> 
</table>

## JAVA API ##

### 步骤 ###

1.  实例化Configuration

Configuration封装了客户端或服务器的配置，Confiuration实例会自动加载HDFS的配置文件core-site.xml，从中获取Hadoop集群中的配置信息。因此我们要把集群的配置core-site.xml放在Maven项目的resources目录下。

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 </pre></td> 
 <td><pre>Configuration conf = new Configuration(); </pre></td> 
 </tr> 
 </tbody> 
</table>

1.  实例化FileSystem

FileSystem类是客户端访问文件系统的入口，是一个抽象的文件系统。DistributedFileSystem类是FileSystem的一个具体实现。实例化FileSystem并发挥默认的文件系统代码如下：

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 </pre></td> 
 <td><pre>FileSystem fs = FileSystem.get(conf); </pre></td> 
 </tr> 
 </tbody> 
</table>

1.  设置目标对象的路径

HDFS API 提供了Path类来封装文件路径。PATH类位于org.apache.hadoop.fs.Path包中，代码如下：

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 </pre></td> 
 <td><pre>Path path = new Path("/input/write.txt"); </pre></td> 
 </tr> 
 </tbody> 
</table>

### 执行文件操作 ###

得到Filesystem实例后，就可以使用该实例提供的方法成员执行相应的操作。如果：打开文件，创建文件、重命名文件、删除文件。

FileSystem类常用成员函数

<table> 
 <thead> 
 <tr> 
 <th>方法名称及参数</th> 
 <th>返回值</th> 
 <th>功能</th> 
 </tr> 
 </thead> 
 <tbody> 
 <tr> 
 <td>create(Path f)</td> 
 <td>FSDataOutputStream</td> 
 <td>创建一个文件</td> 
 </tr> 
 <tr> 
 <td>open(Path f)</td> 
 <td>FSDatatInputStream</td> 
 <td>打开指定的文件</td> 
 </tr> 
 <tr> 
 <td>delete(Path f)</td> 
 <td>boolean</td> 
 <td>删除指定文件</td> 
 </tr> 
 <tr> 
 <td>exsits(Path f)</td> 
 <td>boolean</td> 
 <td>检查文件是否存在</td> 
 </tr> 
 <tr> 
 <td>getBlockSize(Path f)</td> 
 <td>long</td> 
 <td>返回指定的数据块的大小</td> 
 </tr> 
 <tr> 
 <td>getLength(Path f)</td> 
 <td>long</td> 
 <td>返回文件长度</td> 
 </tr> 
 <tr> 
 <td>mkdir(Path f)</td> 
 <td>boolean</td> 
 <td>检查文件是否存在</td> 
 </tr> 
 <tr> 
 <td>copyFromLocalFile(Path src, Path dst)</td> 
 <td>void</td> 
 <td>从本地磁盘复制文件到HDFS</td> 
 </tr> 
 <tr> 
 <td>copyToLocalFile(Path src, Path dst)</td> 
 <td>void</td> 
 <td>从HDFS复制文件到本地磁盘</td> 
 </tr> 
 <tr> 
 <td>………..</td> 
 <td>……….</td> 
 <td>…………….</td> 
 </tr> 
 </tbody> 
</table>

#### 上传文件 ####

#### 创建文件 ####

#### 文件详情 ####

<table> 
 <tbody> 
 <tr> 
 <td><pre>1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 </pre></td> 
 <td><pre>package hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileStatus; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.net.URI; import java.text.SimpleDateFormat; import java.util.Date; public class SeeInfo {
 public static void main(String[] args) throws Exception {
 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(URI.create("hdfs://datanode1:9000"), conf, "hadoop"); // HDFS文件 Path fpath = new Path("/input/上传文件.txt"); FileStatus fileLinkStatus = fs.getFileLinkStatus(fpath); //获得块大小 long blockSize = fileLinkStatus.getBlockSize(); System.out.println("blocksize: " + blockSize); //获得文件大小 long len = fileLinkStatus.getLen(); System.out.println("Filesize: " + len); //获得文件所有者 String owner = fileLinkStatus.getOwner(); System.out.println("FileOwner: " + owner); //获得创建时间 SimpleDateFormat formater = new SimpleDateFormat("yyyy-MM-dd hh:mm:ss"); long accessTime = fileLinkStatus.getAccessTime(); System.out.println("access time: " + formater.format(new Date(accessTime))); //获得修改时间 long modificationTime = fileLinkStatus.getModificationTime(); System.out.println("modify time: " + formater.format(new Date(modificationTime))); } } </pre></td> 
 </tr> 
 </tbody> 
</table>

![FBsDLF.png][]

#### 下载文件 ####

#### 删除文件 ####

hdfs;

[FBatc4.md.png]: /images/20220210/41525f4db34849db9b9d5bd5810f5cab.png
[FBay9O.md.png]: /images/20220210/10a58dbe1f6b41109cf6943c964c27fe.png
[FBacge.png]: /images/20220210/058828ef91654d8cbd265643f7fa79af.png
[FBsDLF.png]: /images/20220210/808c36f6f32042fdaac16f1572da7f2e.png