Hadoop常用命令

缺乏、安全感 2024-03-27 14:08 93阅读 0赞

**目录**

1、启动/关闭所有进程

2、单进程启动/关闭

2.1、启动DFS SH

2.2、启动YARN SH

3、上传文件到HDFS文件系统

4、查看文件系统根目录的文件夹

5、显示hadoop上的文件的内容

6、从hadoop上把文件获取到本地

7、在hadoop上删除文件

8、在hadoop创建目录

9、在hadoop创建多级目录

10、上传到指定文件夹

11、删除文件夹的所有文件

12、删除目录

13、重命名文件

--------------------

### 1、启动/关闭所有进程 ###

> start/stop-all.sh等价于**start/stop-dfs.sh + start/stop-yarn.sh**

但是一般不推荐使用start/stop-all.sh(因为开源框架中内部命令启动有很多问题)。

### **2、单进程启动/关闭** ###

#### 2.1、启动DFS SH ####

> start/stop-dfs.sh
> 
> 启动namenodes /namenodes /namenodes

![782509ee23e24d99af89ec514407f898.png][]

#### 2.2、启动YARN SH ####

> start/stop-yarn.sh
> 
> 启动 resourcemanager / nodemanagers

![6399c3f9e2e74ec19ac37ceea018b6b5.png][]

### 3、上传文件到HDFS文件系统 ###

> hdfs dfs -put ./test.txt /

![a6b24d079a424d2a8079ce97f47ef0dc.png][]

### 4、查看文件系统根目录的文件夹 ###

> hdfs dfs -ls /

![b77c59ce4d3e450fa15ef6474e949b8f.png][]

### 5、显示hadoop上的文件的内容 ###

> hdfs dfs -cat /test.txt

![8b36c257ad224b10bbdff4203de0c9fa.png][]

### 6、从hadoop上把文件获取到本地 ###

> hdfs dfs -get /test.txt ./aaa.txt

![8e7bfd488c7b41cf8e9330e906180972.png][]

### 7、在hadoop上删除文件 ###

> hdfs dfs -rm /testfile.txt

![87effc69905e4eafb9dc99cbf1bf58e5.png][]

### 8、在hadoop创建目录 ###

> hdfs dfs -mkdir /bigdata

![910657653c89449b9eca43420fb1b95d.png][]

![24754f2e43bc4893ac106e756fa57c45.png][]

### 9、在hadoop创建多级目录 ###

> hdfs dfs -mkdir -p /test1/text

![cfaca8d1386649648f830888abf8f3f7.png][]

![528359d7a80f429786cd5ace91449c7a.png][]

### 10、上传到指定文件夹 ###

> hdfs dfs -put ./aa.txt /test1/text

![b38f0fe9495d45638eb5bd98223f3e8c.png][]

### 11、删除文件夹的所有文件 ###

> hdfs dfs -rm /test1/text/\*

![4ed2a38242c748988ed1839c33bc9016.png][]

### 12、删除目录 ###

> hdfs dfs -rm -R /test1/text

![77e9ba15967c4237a1bf1426bc54db4f.png][]

### 13、重命名文件 ###

> hdfs dfs -mv /test/text.txt /test/ok.txt
> 
> 把 text.txt 改为 ok.txt

![d9de2b24576c44e3b1b8b870a7c4405a.png][]

[782509ee23e24d99af89ec514407f898.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/36753a1b13cc457a8ef24b65a737c0a0.png
[6399c3f9e2e74ec19ac37ceea018b6b5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/19b8abbbf8a648f2946f36df7064ea7c.png
[a6b24d079a424d2a8079ce97f47ef0dc.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/0633651ce01540dd911ecc159d3fd1bc.png
[b77c59ce4d3e450fa15ef6474e949b8f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/f0893ab3a1ba4527b867b5854207146f.png
[8b36c257ad224b10bbdff4203de0c9fa.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/9e7ccac1c2a64abd92a0460770b23b64.png
[8e7bfd488c7b41cf8e9330e906180972.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/c288c5ed0d2a4a1a8ebb7edaabe8055d.png
[87effc69905e4eafb9dc99cbf1bf58e5.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/1762a155a4a84c5eb6fb65ab19675b73.png
[910657653c89449b9eca43420fb1b95d.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/24508bac8d974672ac19c7c32c10947d.png
[24754f2e43bc4893ac106e756fa57c45.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/ac4dab5e6485486698e0d8cd5d75570e.png
[cfaca8d1386649648f830888abf8f3f7.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/0d984ba071ae45babc9d5eaca0fa9560.png
[528359d7a80f429786cd5ace91449c7a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/6c7c0f125fa8425da4650573464b8b39.png
[b38f0fe9495d45638eb5bd98223f3e8c.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/bc772b8c11834d29ae4f8b75fe09b7d8.png
[4ed2a38242c748988ed1839c33bc9016.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/e73803526378404f94b6fae0462347f9.png
[77e9ba15967c4237a1bf1426bc54db4f.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/617397b02b0345e4b8cdd91953564a4a.png
[d9de2b24576c44e3b1b8b870a7c4405a.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/27/3e334de1b65d41c0b4cecb453dbaae28.png