haoop fs 命令

柔光的暖阳◎ 2021-11-19 14:42 204阅读 0赞

[Hadoop fs 命令详解][Hadoop fs]

参考文档：https://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/FileSystemShell.html\#df

1. 环境：hadoop-2.6.0

2. 参数说明： hadoop fs  
\[-appendToFile <localsrc> ... <dst>\]  
\[-cat \[-ignoreCrc\] <src> ...\]  
\[-checksum <src> ...\]  
\[-chgrp \[-R\] GROUP PATH...\]  
\[-chmod \[-R\] <MODE\[,MODE\]... | OCTALMODE> PATH...\]  
\[-chown \[-R\] \[OWNER\]\[:\[GROUP\]\] PATH...\]  
\[-copyFromLocal \[-f\] \[-p\] \[-l\] <localsrc> ... <dst>\]  
\[-copyToLocal \[-p\] \[-ignoreCrc\] \[-crc\] <src> ... <localdst>\]  
\[-count \[-q\] \[-h\] <path> ...\]  
\[-cp \[-f\] \[-p | -p\[topax\]\] <src> ... <dst>\]  
\[-createSnapshot <snapshotDir> \[<snapshotName>\]\]  
\[-deleteSnapshot <snapshotDir> <snapshotName>\]  
\[-df \[-h\] \[<path> ...\]\]  
\[-du \[-s\] \[-h\] <path> ...\]  
\[-expunge\]  
\[-find <path> ... <expression> ...\]  
\[-get \[-p\] \[-ignoreCrc\] \[-crc\] <src> ... <localdst>\]  
\[-getfacl \[-R\] <path>\]  
\[-getfattr \[-R\] \{-n name | -d\} \[-e en\] <path>\]  
\[-getmerge \[-nl\] <src> <localdst>\]  
\[-help \[cmd ...\]\]  
\[-ls \[-d\] \[-h\] \[-R\] \[<path> ...\]\]  
\[-mkdir \[-p\] <path> ...\]  
\[-moveFromLocal <localsrc> ... <dst>\]  
\[-moveToLocal <src> <localdst>\]  
\[-mv <src> ... <dst>\]  
\[-put \[-f\] \[-p\] \[-l\] <localsrc> ... <dst>\]  
\[-renameSnapshot <snapshotDir> <oldName> <newName>\]  
\[-rm \[-f\] \[-r|-R\] \[-skipTrash\] <src> ...\]  
\[-rmdir \[--ignore-fail-on-non-empty\] <dir> ...\]  
\[-setfacl \[-R\] \[\{-b|-k\} \{-m|-x <acl\_spec>\} <path>\]|\[--set <acl\_spec> <path>\]\]  
\[-setfattr \{-n name \[-v value\] | -x name\} <path>\]  
\[-setrep \[-R\] \[-w\] <rep> <path> ...\]  
\[-stat \[format\] <path> ...\]  
\[-tail \[-f\] <file>\]  
\[-test -\[defsz\] <path>\]  
\[-text \[-ignoreCrc\] <src> ...\]  
\[-touchz <path> ...\]  
\[-usage \[cmd ...\]\]

\-ls 显示当前目录结构

\-ls -R 递归显示目录结构

\-du 统计目录下文件大小 ;  -du -s 汇总目录下文件大小,单位字节  ; -du -h ,显示目录下各个文件的大小。  -du -s -h  /user/hive/warehouse/table\_test ，汇总该表所占据的存储空间,显示单位。

\-rm -f -r 递归删除目录文件

\-cp -f 复制文件 source destination

\-mv 移动文件或目录

\-mkdir 创建目录

\-get -f 下载文件

\-put -f 上传文件

3. hadoop fs ，hadoop dfs ，hdfs dfs 都可以进行操作。 hadoop fs 的使用面最广，可以操作所有的文件系统； hadoop dfs ，hdfs dfs 只能操作 HDFS相关的文件。【Linux 目录环境】

4. 在hive 模式下，使用 dfs 命令进行相关操作，如删除文件：dfs -rm -r -f  /user/hive/warehouse/ods/t\_column\_to\_row

5. hadoop fs -du  /user/hive/warehouse/ods  |sort -r -n -k 1 |awk '\{ print $1/(1024\*1024\*1024),$3\}'  |head -20   -- 查询指定目录下存储量最大的top20