linux--积累--分析清理服务器大文件--分析清理磁盘空间

心已赠人 2023-02-18 08:14 13阅读 0赞

Linux系统中如果发现/目录剩余空间不足，又不新增磁盘挂载，可以使用du和df命令来对找到 不用的大文件，对它们进行删除，从而腾出足够的空间。

详细的操作步骤记录如下:

# df判断占空间多的目录 #

使用df命令输出如下:

[root@VM_0_9_centos /]# df -h
    Filesystem      Size  Used Avail Use% Mounted on
    /dev/vda1        50G   15G   32G  32% /
    devtmpfs        911M     0  911M   0% /dev
    tmpfs           920M   24K  920M   1% /dev/shm
    tmpfs           920M  388K  920M   1% /run
    tmpfs           920M     0  920M   0% /sys/fs/cgroup
    tmpfs           184M     0  184M   0% /run/user/0
    [root@VM_0_9_centos /]# df 
    Filesystem     1K-blocks     Used Available Use% Mounted on
    /dev/vda1       51474044 15601312  33251368  32% /
    devtmpfs          932296        0    932296   0% /dev
    tmpfs             941920       24    941896   1% /dev/shm
    tmpfs             941920      388    941532   1% /run
    tmpfs             941920        0    941920   0% /sys/fs/cgroup
    tmpfs             188388        0    188388   0% /run/user/0

\-h表示 用human方便理解的单位进行显示，如果不加-h则显示的为千字节Kilobytes(KB).

占空间比较多的是根目录 /, 对它进行详细分析

# du命令分析详细目录大小 #

使用命令如下:

[root@VM_0_9_centos /]# du -h --max-depth=1 / |sort -nr
    du: cannot access ‘/proc/11318/task/11318/fd/4’: No such file or directory
    du: cannot access ‘/proc/11318/task/11318/fdinfo/4’: No such file or directory
    du: cannot access ‘/proc/11318/fd/4’: No such file or directory
    du: cannot access ‘/proc/11318/fdinfo/4’: No such file or directory
    416K	/run
    136M	/boot
    60K	/tmp
    34M	/etc
    28K	/home
    16K	/lost+found
    15G	/
    8.0K	/opt
    7.8G	/var
    4.0K	/srv
    4.0K	/mnt
    4.0K	/media
    3.3G	/usr
    2.6G	/root
    1.2G	/data
    0	/sys
    0	/proc
    0	/dev

\-h 表示 用human方便理解的单位进行显示，如果不加-h则显示的为千字节Kilobytes(KB).  
–max-depth=1 仅列出该目录下面所有的一级目录文件大小  
|sort -nr 根据数字大小进行排序

我们注意到 这里虽然进行了排序，但是因为 使用的单位不同，导致不是很好判断哪个目录 最大，所以 最好统一单位，使用参数

\-hm 统一使用M兆作为单位显示，输出如下:

[root@VM_0_9_centos /]# du -hm --max-depth=1 / |sort -nr
    du: cannot access ‘/proc/11770/task/11770/fd/4’: No such file or directory
    du: cannot access ‘/proc/11770/task/11770/fdinfo/4’: No such file or directory
    du: cannot access ‘/proc/11770/fd/4’: No such file or directory
    du: cannot access ‘/proc/11770/fdinfo/4’: No such file or directory
    15203	/
    7943	/var
    3287	/usr
    2622	/root
    1183	/data
    136	/boot
    34	/etc
    1	/tmp
    1	/srv
    1	/run
    1	/opt
    1	/mnt
    1	/media
    1	/lost+found
    1	/home
    0	/sys
    0	/proc
    0	/dev
    [root@VM_0_9_centos /]#

所以 最大的目录是/var

继续用这种方式循环分析

[root@VM_0_9_centos /]# du -hm --max-depth=1 /var |sort -nr
    7943	/var
    4632	/var/log
    2993	/var/mysql
    189	/var/lib
    129	/var/cache
    1	/var/yp
    1	/var/tmp
    1	/var/spool
    1	/var/preserve
    1	/var/opt
    1	/var/nis
    1	/var/local
    1	/var/kerberos
    1	/var/gopher
    1	/var/games
    1	/var/empty
    1	/var/db
    1	/var/crash
    1	/var/adm

/var/mysql是mysql的数据保存，不可以删除

# ll或者ls命令查看目录下的文件是否可删除 #

log目录可以删除，循环分析后发现 /var/log目录下的文件都可以删除

[root@VM_0_9_centos /]# ll /var/log/
    total 441256
    drwxr-xr-x. 2 root   root                 4096 Apr 21  2016 anaconda
    drwxr-x---. 2 root   root                 4096 Jun 16 15:50 audit
    -rw-r--r--  1 root   root                    0 Jun 19  2019 auth.log
    -rw-r--r--  1 root   root                 8668 Mar  7  2018 boot.log
    -rw-------  1 root   utmp             78690432 Jun 16 16:17 btmp
    -rw-------  1 root   utmp            173324160 Jun  1 03:47 btmp-20200601
    drwxr-xr-x. 2 chrony chrony               4096 Nov 24  2015 chrony

# rm删除不保留的文件 #

**重要提示，在执行删除前 最后先全部备份都 另一个目录中，以防操作失误。 在确保删除正确之后 再把备份目录删除即可。**

## linux下删除指定文件、文件夹：rm ##

Linux下删除文件和文件夹常用命令如下：

删除文件： rm file1  file2  
    　　删除文件夹： rm -rf dir

## 删除指定文件（夹）之外的所有文件 ##

需要在当前文件夹中进行:

### 删除指定目录之外的 文件 ###

#删除folder目录之外的所有文件
    rm -rf !(folder)
    
    #删除folder1和folder2文件之外的所有文件
    rm -rf !(folder1 | folder2)

当前文件夹中结合使用grep和xargs来处理文件名：

### 使用grep 删除keep文件之外的所有文件 ###

ls | grep -v keep | xargs rm

说明： ls先得到当前的所有文件和文件夹的名字， grep -v keep，进行grep正则匹配查找keep，-v参数决定了结果为匹配之外的结果，也就是的到了keep之外的所有文件名，然后 xargs用于从 标准输入获得参数 并且传递给后面的命令，这里使用的命令是 rm，然后由rm删除前面选择的文件。

好处：使用了grep来正则表达式来匹配文件名字，可以一次保留多个文件，从而进行更加准确的处理。

使用find命令代替ls，改进方法3从而能够处理制定文件夹的文件：

# 删除当前test文件夹中keep文件之外的所有文件
    find ./test/ | grep -v keep | xargs rm

说明，用grep而不用find -name选取名字，因为find选取名字时比较麻烦，对正则表达式支持不够，无法排除指定文件名。

### 直接使用find命令删除其他文件： ###

# 删除keep以外的其他文件。
    
    find ./ -name '[^k][^e][^e][^p]*' -exec rm -rf {} \;
    
    # 删除keep以外的其他文件。推荐！
    
    find ./ -name '[^k][^e][^e][^p]*' | xargs rm -rf

说明：上面使用-exec的代码效率高些，原因在于删除多个文件时 -exec会启动多个进程来处理，而xargs会启动一个rm进程来处理。

### 例子 删除debug.log 和sys.out 文件外的所有文件。 ###

#建立查找规则
     vi test.txt 
    
    ^debug.log$
    ^sys.out$
    
    #尝试查找：
    ls | grep -f test.txt 
    debug.log
    sys.out
    
    #删除要保留文件外的其它文件：
    ls | grep -vf test.txt |xargs rm
    #记得加v，保留要保留的文件，不要删错了

## 删除超过一个月时间的日志文件： ##

#删除，文件名中带有数字，超过30天的日志：
    cd /var/log
    find -mtime +30 -name "*[0-9]*" -exec rm {} \;
    
    #删除，文件名中带有gz，超过30天的日志：
    cd /var/log
    find -mtime +30 -name "*gz*" -exec rm {} \;
    
    
    #删除，文件名中带有log，超过30天的日志：
    cd /var/log
    find -mtime +30 -name "*log*" -exec rm {}  \;