Linux磁盘空间100% 查找并删除大文件

Bertha 。 2022-05-30 05:56 352阅读 0赞

# Linux磁盘空间100% 查找并删除大文件 #

*  Linux磁盘空间100% 查找并删除大文件
    
     *  发现问题
     *  问题验证
     *  查找大文件
     *  删除大文件
        
         *  按文件大小删除
         *  按时间和名称删除

## 发现问题 ##

*  如果是数据库，在客户端操作(比如`navicat`)数据库的时候，会弹窗报错`No space left on device`，`java`应用也会在日志里报这个错；
 *  如果是`spring-boot spring-cloud`，`eureka`状态会显示`DOWN`；
 *  其他应用程序应该也会出现不同的`down`，比如连不上、响应速度非常慢等等。

## 问题验证 ##

直接使用`df`命令查看磁盘占用情况：

df -h
    #output>>>>>>>>>>>>>>>>
    Filesystem                  Size  Used Avail Use% Mounted on
    /dev/mapper/vg_192-lv_root   50G   44G  3.4G  100% /
    #output>>>>>>>>>>>>>>>>

发现是真的，解决办法有两种：

1.  扩容，可以参考这里：[Linux 磁盘扩容][Linux]
2.  查找大文件，确认是什么原因导致磁盘被占满，要么更改一些策略，比如`kafka`日志清理策略、`CDH`集群健康日志清理策略等，要么删除大文件。

这里记录查找并删除大文件。

## 查找大文件 ##

使用`du`和`df`命令定位大文件：

# 先确定是哪个文件夹占用较多
    # 如果文件较多命令执行可能很慢，在知道大概位置的情况下不建议直接对根目录操作
    # du的--max-depth=1表示只展示第一个层级的目录和文件
    # sort的-h选项和du的-h选项一个意思，-r表示倒叙，默认升序
    du -h / --max-depth=1 | sort -hr | head -n 10
    #output>>>>>>>>>>>>>>>>>>>>>>>>>>
    50G /
    28G    /var
    6.0G   /dfs
    4.0G   /opt
    3.0G   /root
    2.3G   /usr
    148M   /lib
    39M    /log
    30M    /etc
    29M    /boot
    #output>>>>>>>>>>>>>>>>>>>>>>>>>>
    
    # 定位到/var目录占用超过50%(磁盘总量50G)
    # 继续往下层目录找
    du -h /var --max-depth=1 | sort -hr | head -n 10
    #output>>>>>>>>>>>>>>>>>>>>>>>>>>
    28G    /var
    24G    /var/lib
    3.8G   /var/log
    371M   /var/cache
    ...
    #output>>>>>>>>>>>>>>>>>>>>>>>>>>
    
    # 继续/var/lib
    du -h /var/lib --max-depth=1 | sort -hr | head -n 10
    #output>>>>>>>>>>>>>>>>>>>>>>>>>>
    24G    /var/lib
    10G    /var/lib/mongo
    8.4G   /var/lib/cloudera-service-monitor
    4.5G   /var/lib/cloudera-host-monitor
    319M   /var/lib/mysql
    ...
    #output>>>>>>>>>>>>>>>>>>>>>>>>>>
    
    # 最后发现是mongo 数据量太多以及cdh集群健康数据太多
    # 可以设置mongo journal使用smallfile，否则文件到达1G并且文件所记载的写操作都被使用过了才会删除
    # cdh日志默认在文件达到10G的时候才会回滚，这里也可以做文章

## 删除大文件 ##

假设找到了对应的文件夹或文件并且可以删除，可以直接使用`rm`删除，也可以按照时间删除，比如一些日志文件，需要删除靠前的日志，较新的日志暂时还不能删除。

### 按文件大小删除 ###

比如需要删除超过500M的文件，而不是删除整个文件夹：

# 建一个临时文件夹做测试
    cd /tmp
    mkdir test
    cd test
    
    # 建几个大文件试试
    # seek表示跳过文件中指定大小的部分，实际上并没有写入任何数据
    # 生成1000G的文件
    dd if=/dev/zero of=test-big1 bs=1G count=0 seek=1000
    # 生成1000M的文件
    dd if=/dev/zero of=test-big2 bs=1M count=0 seek=1000
    
    #查找 -size参数值中+表示> -表示< 不写表示等于
    find /tmp/test -type f -size +200M
    #output>>>>>>>>>>>>>>>
    /tmp/test/test-big2
    /tmp/test/test-big1
    #output>>>>>>>>>>>>>>>
    
    find /tmp/test -type f -size +2000M
    #output>>>>>>>>>>>>>>>
    /tmp/test/test-big1
    #output>>>>>>>>>>>>>>>
    
    find /tmp/test -type f -size -2000M
    #output>>>>>>>>>>>>>>>
    /tmp/test/test-big2
    #output>>>>>>>>>>>>>>>
    
    # 删除
    # {} \;不能丢
    find /tmp/test -type f -size +2000M -exec rm -rf {} \;
    ls
    #output>>>>>>>>>>>>>>>
    test-big2
    #output>>>>>>>>>>>>>>>

### 按时间和名称删除 ###

# 删除修改时间距今超过10天的以.gz结尾的文件
    # -mtime参数值中 0表示修改时间在24小时内 +x表示修改时间距今超过x天 -x表示距今少于x天 不写正负号表示等于
    find tmp/test/* -mtime +10  -name "*.gz" -exec rm -rf {} \;

[Linux]: http://blog.csdn.net/a349458532/article/details/52117618