Hadoop HDFS trash 回收站

亦凉 2022-02-24 09:12 236阅读 0赞

HDFS回收站默认是不开启的。

<table> 
 <thead> 
  <tr> 
   <th>name</th> 
   <th>value</th> 
   <th>description</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>fs.trash.interval</td> 
   <td>0</td> 
   <td>删除文件的存活时间，单位分钟，如果是0禁用回收站；可以在服务端及客户端配置此参数；如果服务端禁用了，则检查客户端配置；如果服务端启用了，则忽略客户端配置</td> 
  </tr> 
  <tr> 
   <td>fs.trash.checkpoint.interval</td> 
   <td>0</td> 
   <td>垃圾检查点之间的分钟数，应小于或等于fs.trash.interval； 如果为0，则该值设置为fs.trash.interval的值；每次检查点运行时，都会在当前之外创建一个新的检查点，并删除之前创建的超过fs.trash.interval的检查点</td> 
  </tr> 
  <tr> 
   <td>hadoop.http.staticuser.user</td> 
   <td>dr.who</td> 
   <td>在网页界面访问数据使用的用户名。默认值是一个不真实存在的用户，此用户权限很小，不能访问不同用户的数据。这保证了数据安全。也可以设置为hdfs和hadoop等具有较高权限的用户，但会导致能够登陆网页界面的人能看到其它用户数据。实际设置请综合考虑。如无特殊需求。使用默认值就好</td> 
  </tr> 
 </tbody> 
</table>

## 配置 core-site.xml ##

配置垃圾回收时间为2分钟，修改访问垃圾回收站用户名称。  
进入垃圾回收站用户名称，默认是 dr.who，修改为 root 用户

<property>
        <name>fs.trash.interval</name>
        <value>2</value>
    </property>
    
    <property>
        <name>fs.trash.checkpoint.interval</name>
        <value>1</value>
    </property>
    
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>

## 测试 ##

![删除前][format_png]

[root@hadoop101 hadoop]# hdfs dfs -rm -r /tmp
    19/04/01 02:30:38 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 2 minutes, Emptier interval = 0 minutes.
    Moved: 'hdfs://hadoop101:9000/tmp' to trash at: hdfs://hadoop101:9000/user/root/.Trash/Current

![回收站][format_png 1]

如果不修改`hadoop.http.staticuser.user`则报如下错  
![format_png 2][]

到了存活时间，内容自动被删除。

![format_png 3][]

## 恢复回收站数据 ##

在数据没有清空前，可以恢复数据。

[root@hadoop101 hadoop]# hdfs dfs -mv /user/root/.Trash/Current/tmp /tmp

## 清空回收站 ##

[root@hadoop101 hadoop]# hdfs dfs -expunge
    19/04/01 02:44:10 INFO fs.TrashPolicyDefault: Namenode trash configuration: Deletion interval = 2 minutes, Emptier interval = 0 minutes.

[format_png]: /images/20220224/06480acc50e2402988dc1bc00aba1dd8.png
[format_png 1]: /images/20220224/1a756bd1eac4407a8fa885d9fb600d62.png
[format_png 2]: /images/20220224/8e161e047ccd44d39c9efbd28cdcc881.png
[format_png 3]: /images/20220224/664dbc73eb944890a68ecece9a2f1f72.png