hadoop hdfs文件系统常用命令

阳光穿透心脏的1/2处 2022-11-18 05:48 247阅读 0赞

hadoop常用命令：

hadoop fs

查看Hadoop HDFS支持的所有命令

hadoop fs –ls

列出目录及文件信息

hadoop fs –lsr

循环列出目录、子目录及文件信息

hadoop fs –put test.txt /user/sunlightcs

将本地文件 [系统][Link 1]的test.txt复制到HDFS文件系统的/user/sunlightcs目录下

hadoop fs –get /user/sunlightcs/test.txt .

将HDFS中的test.txt复制到本地文件系统中，与-put命令相反

hadoop fs –cat /user/sunlightcs/test.txt

查看HDFS文件系统里test.txt的内容

hadoop fs –tail /user/sunlightcs/test.txt

查看最后1KB的内容

hadoop fs –rm /user/sunlightcs/test.txt

从HDFS文件系统删除test.txt文件，rm命令也可以删除空目录

hadoop fs –rmr /user/sunlightcs

删除/user/sunlightcs目录以及所有子目录

hadoop fs –copyFromLocal test.txt /user/sunlightcs/test.txt

从本地文件系统复制文件到HDFS文件系统，等同于put命令

hadoop fs –copyToLocal /user/sunlightcs/test.txt test.txt

从HDFS文件系统复制文件到本地文件系统，等同于get命令

hadoop fs –chgrp \[-R\] /user/sunlightcs

修改HDFS系统中/user/sunlightcs目录所属群组，选项-R递归执行，跟linux命令一样

hadoop fs –chown \[-R\] /user/sunlightcs

修改HDFS系统中/user/sunlightcs目录拥有者，选项-R递归执行

hadoop fs –chmod \[-R\] MODE /user/sunlightcs

修改HDFS系统中/user/sunlightcs目录权限，MODE可以为相应权限的3位数或+/-\{rwx\}，选项-R递归执行

hadoop fs –count \[-q\] PATH

查看PATH目录下，子目录数、文件数、文件大小、文件名/目录名

hadoop fs –cp SRC \[SRC …\] DST

将文件从SRC复制到DST，如果指定了多个SRC，则DST必须为一个目录

hadoop fs –du PATH

显示该目录中每个文件或目录的大小

hadoop fs –dus PATH

类似于du，PATH为目录时，会显示该目录的总大小

hadoop fs –expunge

清空回收站，文件被删除时，它首先会移到临时目录.Trash/中，当超过延迟时间之后，文件才会被永久删除

hadoop fs –getmerge SRC \[SRC …\] LOCALDST \[addnl\]

获取由SRC指定的所有文件，将它们合并为单个文件，并写入本地文件系统中的LOCALDST，选项addnl将在每个文件的末尾处加上一个换行符

hadoop fs –touchz PATH

创建长度为0的空文件

hadoop fs –test –\[ezd\] PATH

对PATH进行如下类型的检查：

\-e PATH是否存在，如果PATH存在，返回0，否则返回1

\-z 文件是否为空，如果长度为0，返回0，否则返回1

\-d 是否为目录，如果PATH为目录，返回0，否则返回1

hadoop fs –text PATH

显示文件的内容，当文件为文本文件时，等同于cat，文件为压缩格式（gzip以及hadoop的二进制序列文件格式）时，会先解压缩

hadoop fs –help ls

查看某个\[ls\]命令的帮助文档

[Link 1]: http://www.2cto.com/os/

发表评论取消回复

表情：

评论列表（有 0 条评论，247人围观）

还没有评论，来说两句吧...

相关阅读

相关【Hadoop-HDFS】HDFS常用操作命令

【Hadoop-HDFS】HDFS常用操作命令 1）显示目录信息（-ls） 1）在 HDFS 上创建目录（-mkdir） 2）从本地剪切文件粘贴到 HD

た入场券/ 2023年10月08日 23:46/ 0 赞/ 15 阅读

相关 Hadoop hdfs文件操作常用命令

hadoop fs -操作命令 -参数 -ls 显示目录信息 -->hadoop fs -ls hdfs:

ゝ一纸荒年。/ 2023年10月07日 10:33/ 0 赞/ 21 阅读

相关 HDFS 文件系统和常用命令

一、HDFS 概念 1、HDFS 是一个分布式文件系统。适合一次写入，多次读出的场景，不支持文件修改；适合用来做数据分析，但不适合用来做网盘。 2、由nameNod

迷南。/ 2023年08月17日 16:32/ 0 赞/ 127 阅读

相关 hadoop hdfs文件系统常用命令

hadoop常用命令： hadoop fs 查看Hadoop HDFS支持的所有命令 hadoop fs –ls 列出目录及文件信息 hadoo

阳光穿透心脏的1/2处/ 2022年11月18日 05:48/ 0 赞/ 248 阅读

相关 HDFS分布式文件系统常用命令

1、列出本地文件系统命令： \[hadoop@master hadoop-2.5.2\]$ bin/hadoop fs -ls file:/// 2、查看文件系统组成

喜欢ヅ旅行/ 2022年08月06日 04:23/ 0 赞/ 224 阅读

相关 Hadoop——HDFS常用命令

本节目标：掌握HDFS常用命令 hadoop fs -ls <path> 显示指定文件信息 hadoop fs -ls -R <path> ls命令的递归

你的名字/ 2022年05月26日 00:29/ 0 赞/ 346 阅读

相关 hadoop HDFS常用文件操作命令

[hadoop HDFS常用文件操作命令][hadoop HDFS] 命令基本格式: hadoop fs -cmd < args > ----------

╰半夏微凉°/ 2022年05月18日 00:49/ 0 赞/ 306 阅读

相关 Hadoop hdfs 常用命令

概述前言调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。但也可以用hadoop dfs ,两者效果一样。(hadoop dfs命令

秒速五厘米/ 2022年05月08日 02:12/ 0 赞/ 304 阅读

相关 Hadoop HDFS常用命令

<table style="width:664px;"> <tbody> <tr> <td>hadoop fs -cat URI [URI …]</td>

冷不防/ 2022年04月13日 05:42/ 0 赞/ 300 阅读

相关 Hadoop之HDFS常用文件操作命令

命令基本格式 hadoop fs -cmd < args > ls　　列出hdfs文件系统根目录下的目录和文件 hadoop fs -ls /

╰半橙微兮°/ 2022年01月29日 13:57/ 0 赞/ 333 阅读