HDFS 常用shell命令操作

短命女 2021-11-09 23:52 750阅读 0赞

### HDFS 常用shell命令操作 ###

*   *   *   *  \-help：帮助
             *  \-ls: 显示目录信息
             *  \-mkdir：在hdfs上创建目录
             *  \-moveFromLocal ：从本地剪切粘贴到hdfs
             *  \-moveToLocal：从hdfs剪切粘贴到本地（尚未实现）
             *  –appendToFile ：追加一个文件到已经存在的文件末尾
             *  \-cat ：显示文件内容
             *  \-tail：显示一个文件的末尾
             *  \-chgrp 、-chmod、-chown：修改文件所属权限
             *  \-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去
             *  \-copyToLocal：从hdfs拷贝到本地
             *  \-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径
             *  \-mv：在hdfs目录中移动文件
             *  \-get：等同于copyToLocal，就是从hdfs下载文件到本地
             *  \-getmerge ：合并下载多个文件
             *  \-put：等同于copyFromLocal
             *  \-rm：删除文件或文件夹
             *  \-rmdir：删除空目录
             *  \-df ：统计文件系统的可用空间信息
             *  \-du：统计文件夹的大小信息
             *  \-count：统计一个指定目录下的文件节点数量
             *  \-setrep：设置hdfs中文件的副本数量
             *  hdfs fsck / :查看集群的状态

#### \-help：帮助 ####

-help + 命令：输出这个命令参数 
    eg：
    [jacob@hadoop03 ~]$ hdfs dfs -help rm 
    
    -rm [-f] [-r|-R] [-skipTrash] <src> ... :
      Delete all files that match the specified file pattern. Equivalent to the Unix
      command "rm <src>"
                                                                                     
      -skipTrash  option bypasses trash, if enabled, and immediately deletes <src>   
      -f          If the file does not exist, do not display a diagnostic message or 
                  modify the exit status to reflect an error.                        
      -[rR]       Recursively deletes directories

#### \-ls: 显示目录信息 ####

hadoop fs -ls / 
    eg:
    [jacob@hadoop03 ~]$ hadoop fs -ls / 
    
    Found 4 items
    drwxr-xr-x   - jacob supergroup          0 2019-12-03 19:32 /input
    drwxr-xr-x   - jacob supergroup          0 2019-12-04 01:22 /output
    drwx-wx-wx   - jacob supergroup          0 2019-10-04 18:37 /tmp
    drwxr-xr-x   - jacob supergroup          0 2019-10-18 04:05 /user

#### \-mkdir：在hdfs上创建目录 ####

hadoop fs -mkdir -p /aaa/bbb/cc/dd
    -p代表级联

#### \-moveFromLocal ：从本地剪切粘贴到hdfs ####

hadoop fs - moveFromLocal /home/hadoop/a.txt /aaa/bbb/cc/dd

#### \-moveToLocal：从hdfs剪切粘贴到本地（尚未实现） ####

hadoop fs -help moveToLocal

#### –appendToFile ：追加一个文件到已经存在的文件末尾 ####

hadoop fs -appendToFile ./hello.txt /hello.txt

#### \-cat ：显示文件内容 ####

hdfs dfs -cat /b.txt

#### \-tail：显示一个文件的末尾 ####

hadoop fs -tail /weblog/access_log.1

#### \-chgrp 、-chmod、-chown：修改文件所属权限 ####

和linux文件系统中的用法一样
    hadoop fs -chown someuser:somegrp /hello.txt

#### \-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去 ####

hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/

#### \-copyToLocal：从hdfs拷贝到本地 ####

hadoop fs -copyToLocal /user/hello.txt ./hello.txt

#### \-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径 ####

hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

#### \-mv：在hdfs目录中移动文件 ####

hadoop fs -mv /aaa/jdk.tar.gz /

#### \-get：等同于copyToLocal，就是从hdfs下载文件到本地 ####

hadoop fs -get /user/hello.txt ./

#### \-getmerge ：合并下载多个文件 ####

比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,… 可以一次性下载并合并
    hadoop fs -getmerge /aaa/log.* ./log.sum

#### \-put：等同于copyFromLocal ####

hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

#### \-rm：删除文件或文件夹 ####

hadoop fs -rm -r /aaa/bbb/

#### \-rmdir：删除空目录 ####

hadoop fs -rmdir /aaa/bbb/ccc

#### \-df ：统计文件系统的可用空间信息 ####

hadoop fs -df -h / 
    
    eg：
    [jacob@hadoop03 ~]$ hadoop fs -df -h / 
    Filesystem       Size     Used  Available  Use%
    hdfs://bd1904  51.3 G  316.4 M     31.1 G    1%

#### \-du：统计文件夹的大小信息 ####

hadoop fs -du -s -h /input

#### \-count：统计一个指定目录下的文件节点数量 ####

hadoop fs -count /input

#### \-setrep：设置hdfs中文件的副本数量 ####

hadoop fs -setrep 3 /aaa/jdk.tar.gz 
    
    这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量。因为目前只有3台设备，最多也就3个副本，只有节点数的增加到10台时，副本数才能达到10。

#### hdfs fsck / :查看集群的状态 ####

hdfs fsck / : 查看集群的状态（运行状态）
    
    [jacob@hadoop03 ~]$ hdfs fsck /
    Connecting to namenode via http://hadoop02:50070/fsck?ugi=jacob&path=%2F
    FSCK started by jacob (auth:SIMPLE) from /192.168.5.109 for path / at Wed Dec 25 18:31:23 CST 2019
    ....................................................................................................
    ....................................................................................................
    .............................................................................Status: HEALTHY
     Total size:    159395771 B
     Total dirs:    262
     Total files:   877
     Total symlinks:                0
     Total blocks (validated):      870 (avg. block size 183213 B)
     Minimally replicated blocks:   870 (100.0 %)
     Over-replicated blocks:        0 (0.0 %)
     Under-replicated blocks:       0 (0.0 %)
     Mis-replicated blocks:         0 (0.0 %)
     Default replication factor:    2
     Average block replication:     2.0
     Corrupt blocks:                0
     Missing replicas:              0 (0.0 %)
     Number of data-nodes:          3
     Number of racks:               1
    FSCK ended at Wed Dec 25 18:31:23 CST 2019 in 254 milliseconds