Hadoop3.0.3 HDFS 常用shell 命令

太过爱你忘了你带给我的痛 2023-10-10 10:38 21阅读 0赞

1、启动Hadoop

./start-all.sh

[root@elk-server sbin]# ./start-all.sh
    Starting namenodes on [elk-server]
    上一次登录：日 11月 24 21:57:43 CST 2019从 192.168.88.1pts/0 上
    elk-server: Warning: Permanently added 'elk-server,192.168.88.135' (ECDSA) to the list of known hosts.
    Starting datanodes
    上一次登录：日 11月 24 22:44:47 CST 2019pts/0 上
    node1: WARNING: /usr/local/hadoop/hadoop-3.0.3/logs does not exist. Creating.
    Starting secondary namenodes [elk-server]
    上一次登录：日 11月 24 22:44:50 CST 2019pts/0 上
    Starting resourcemanager
    上一次登录：日 11月 24 22:44:55 CST 2019pts/0 上
    Starting nodemanagers
    上一次登录：日 11月 24 22:45:02 CST 2019pts/0 上

2、检查Hadoop服务启动情况

jps

[root@elk-server sbin]# jps
    7713 NameNode
    8516 Jps
    8201 ResourceManager
    7965 SecondaryNameNode

3、检查HDFS 系统根目录

hadoop fs -ls /

[root@elk-server sbin]# hadoop fs -ls /

4、HDFS创建文件夹

hadoop fs -mkdir /test

[root@elk-server sbin]# hadoop fs -mkdir /test
    [root@elk-server sbin]# hadoop fs -ls /
    Found 1 items
    drwxr-xr-x   - root supergroup          0 2019-11-25 00:15 /test

5、HDFS 创建级联文件夹

hadoop fs -mkdir -p /input/data

[root@elk-server sbin]# hadoop fs -mkdir -p /input/data
    [root@elk-server sbin]# hadoop fs -ls /
    Found 2 items
    drwxr-xr-x   - root supergroup          0 2019-11-25 00:18 /input
    drwxr-xr-x   - root supergroup          0 2019-11-25 00:15 /test

6、HDFS查看系统根目录下指定文件夹包括的文件

hadoop fs -ls -R /input

[root@elk-server sbin]# hadoop fs -ls -R /input
    drwxr-xr-x   - root supergroup          0 2019-11-25 00:18 /input/data

7、HDFS上传文件

hadoop fs -put words.txt /input/data

[root@elk-server data]# hadoop fs -put words.txt /input/data
    [root@elk-server data]# hadoop fs -ls -R /input/data
    -rw-r--r--   1 root supergroup         38 2019-11-25 00:24 /input/data/words.tx

8、HDFS 下载文件

hadoop fs -get /input/data/words.txt /usr/local/data/newwords.txt

[root@elk-server data]# hadoop fs -get /input/data/words.txt /usr/local/data/newwords.txt
    [root@elk-server data]# ll
    总用量 8
    -rw-r--r-- 1 root root 38 11月 25 00:27 newwords.txt
    -rw-r--r-- 1 root root 38 11月 25 00:23 words.txt

9、HDFS 文件复制

hadoop fs -cp /input/data/words.txt /test

[root@elk-server data]# hadoop fs -cp /input/data/words.txt /test
    [root@elk-server data]# hadoop fs -ls /test
    Found 1 items
    -rw-r--r--   1 root supergroup         38 2019-11-25 00:30 /test/words.txt

10、HDFS 文件移动

hadoop fs -mv /test/words.txt /input

[root@elk-server data]# hadoop fs -mv /test/words.txt /input
    [root@elk-server data]# hadoop fs -ls /input
    Found 2 items
    drwxr-xr-x   - root supergroup          0 2019-11-25 00:24 /input/data
    -rw-r--r--   1 root supergroup         38 2019-11-25 00:30 /input/words.txt

11、HDFS 删除文件或文件夹

hadoop fs -rm /input/words.txt

[root@elk-server data]# hadoop fs -rm /input/words.txt
    Deleted /input/words.txt
    [root@elk-server data]# hadoop fs -ls /input
    Found 1 items
    drwxr-xr-x   - root supergroup          0 2019-11-25 00:24 /input/data

删除空目录

hadoop fs -rmdir /test

[root@elk-server data]# hadoop fs -rmdir /test
    [root@elk-server data]# hadoop fs -ls /
    Found 1 items
    drwxr-xr-x   - root supergroup          0 2019-11-25 00:37 /input

强制删除

hadoop fs -rm -r /input

[root@elk-server data]# hadoop fs -rm -r /input
    Deleted /input
    [root@elk-server data]# hadoop fs -ls /

12、HDFS 查看文件内容

hadoop fs -cat /input/data/words.txt

[root@elk-server data]# hadoop fs -mkdir -p /input/data
    [root@elk-server data]# hadoop fs -put words.txt /input/data
    [root@elk-server data]# hadoop fs -ls /
    Found 1 items
    drwxr-xr-x   - root supergroup          0 2019-11-25 00:42 /input
    [root@elk-server data]# hadoop fs -cat /input/data/words.txt
    hell zhangsan
    hello lisi
    hello wangwu
    [root@elk-server data]#

13、HDFS 修改文件权限，参考Linux 指令之chmod

14、HDFS 修改文件所属组，参考Linux指令之chgrp

15、HDFS 修改为文件所属用户，参考Linux指令之chown

16、HDFS 显示文件相关属性值，参考Linux 指令之du

[root@elk-server data]# hadoop fs -du /input/data/words.txt
    38  38  /input/data/words.txt

17、HDFS 显示文件大学，参考Linux 指令之dus

[root@elk-server data]# hadoop fs -dus /input/data/words.txt
    dus: DEPRECATED: Please use 'du -s' instead.
    38  38  /input/data/words.txt

18、HDFS 清空回收站,参考Linux 指令之expunge

[root@elk-server data]# hadoop fs -expunge  #清空回收站

19、setrep

使用方法：hadoop fs -setrep \[-R\] <path>

改变一个文件的副本系数。-R选项用于递归改变目录下所有文件的副本系数。

示例：

*  hadoop fs -setrep -w 3 -R /user/hadoop/dir1

返回值：

成功返回0，失败返回-1。

20、tail

使用方法：hadoop fs -tail \[-f\] URI

将文件尾部1K字节的内容输出到stdout。支持-f选项，行为和Unix中一致。

示例：

*  hadoop fs -tail pathname

返回值：  
成功返回0，失败返回-1。

21、test

使用方法：hadoop fs -test -\[ezd\] URI

选项：  
\-e 检查文件是否存在。如果存在则返回0。  
\-z 检查文件是否是0字节。如果是则返回0。  
\-d 如果路径是个目录，则返回1，否则返回0。

示例：

*   *  hadoop fs -test -e filename

22、查看Hadoop集群状态

hdfs dfsadmin -report

[root@elk-server data]# hdfs dfsadmin -report
    Configured Capacity: 18238930944 (16.99 GB)
    Present Capacity: 13269663744 (12.36 GB)
    DFS Remaining: 13269647360 (12.36 GB)
    DFS Used: 16384 (16 KB)
    DFS Used%: 0.00%
    Replicated Blocks:
    	Under replicated blocks: 0
    	Blocks with corrupt replicas: 0
    	Missing blocks: 0
    	Missing blocks (with replication factor 1): 0
    	Pending deletion blocks: 0
    Erasure Coded Block Groups: 
    	Low redundancy block groups: 0
    	Block groups with corrupt internal blocks: 0
    	Missing block groups: 0
    	Pending deletion blocks: 0
    
    -------------------------------------------------
    Live datanodes (1):
    
    Name: 192.168.88.136:9866 (node1)
    Hostname: node1
    Decommission Status : Normal
    Configured Capacity: 18238930944 (16.99 GB)
    DFS Used: 16384 (16 KB)
    Non DFS Used: 4969267200 (4.63 GB)
    DFS Remaining: 13269647360 (12.36 GB)
    DFS Used%: 0.00%
    DFS Remaining%: 72.75%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Xceivers: 1
    Last contact: Mon Nov 25 00:53:27 CST 2019
    Last Block Report: Sun Nov 24 22:44:58 CST 2019