linux 快速删除大量/大文件

Dear 丶 2021-06-24 14:35 856阅读 0赞

1、快速删除大量文件：

假如你要在linux下删除大量文件，比如100万、1000万，像/var/spool/clientmqueue/的mail邮件，/usr/local/nginx/proxy\_temp的nginx缓存等，那么rm -rf \*可能就不好使了。 rsync 可以用来清空目录或文件，如下：

1）先建立一个空目录

mkdir/data/blank

2）用rsync删除目标目录

rsync--delete-before -d /data/blank/ /var/spool/clientmqueue/

这样目标目录很快就被清空了

注：其中--delete-before 接收者在传输之前进行删除操作

2、快速删除大文件：

假如你有一些特别大的文件要删除，比如nohup.out这样的实时更新的文件，动辄都是几十个G上百G的，也可以用rsync来清空大文件，而且效率比较高。

1）创建空文件

touch/data/blank.txt

2）用rsync清空文件

rsync-a --delete-before --progress --stats /root/blank.txt /root/nohup.out

3、为什么rsync能够快速删除大文件？

1）rm命令大量调用了lstat64和unlink，可以推测删除每个文件前都从文件系统中做过一次lstat操作。过程：正式删除工作的第一阶段，需要通过getdirentries64调用，分批读取目录（每次大约为4K），在内存中建立rm的文件列表；第二阶段，lstat64确定所有文件的状态；第三阶段，通过unlink执行实际删除。这三个阶段都有比较多的系统调用和文件系统操作。

2）rsync所做的系统调用很少：没有针对单个文件做lstat和unlink操作。命令执行前期，rsync开启了一片共享内存，通过mmap方式加载目录信息。只做目录同步，不需要针对单个文件做unlink。

另外，在其他人的评测里，rm的上下文切换比较多，会造成System CPU占用较多——对于文件系统的操作，简单增加并发数并不总能提升操作速度。

总结：频繁做减法不如直接从头来过

把文件系统的目录与书籍的目录做类比，rm删除内容时，将目录的每一个条目逐个删除(unlink)，需要循环重复操作很多次；rsync删除内容时，建立好新的空目录，替换掉老目录，基本没开销。

发表评论取消回复

表情：

评论列表（有 0 条评论，856人围观）

还没有评论，来说两句吧...

相关阅读

相关 MySQL 快速删除大量数据

千万级数据量方案1、直接使用delete 因delete执行速度与索引量成正比，若表中索引量较多，使用delete会耗费数小时甚至数天的时间方案2、（1）创建

秒速五厘米/ 2023年10月09日 12:52/ 0 赞/ 30 阅读

相关 Linux下如何快速删除大量碎小的文件？

XX系统，通过FTP给客户实时传送文件，正常逻辑是客户收到文件后，自动删除FTP服务器上的本地文件，但经常出现文件已经推送了，客户没删除文件的情况。每个文件其实是很小的，可能几

快来打我*/ 2023年02月23日 09:00/ 0 赞/ 20 阅读

相关 Shell脚本：linux删除大量文件方法总结

文章目录一、构建测试文件 1、构造文件和文件夹 2、只构造文件二、测试删除 1

傷城~/ 2022年09月08日 13:55/ 0 赞/ 685 阅读

相关 Linux下快速删除大量文件/文件夹方法

一、场景描述假如你要在linux下删除大量文件，比如100万、1000万，像/var/spool/clientmqueue/的mail邮件，像/usr/local/

谁借莪１个温暖的怀抱￠/ 2022年07月21日 01:48/ 0 赞/ 913 阅读

相关 rsync快速删除大量小文件

由于业务需要，每天会上传上千万个压缩的日志包，在一次做临时处理的时候，需要将这些数据包从云存储上面下载下来，做处理，BUT，做完处理之后忘记将这些包删掉了，so，临时积累了好多

Bertha 。/ 2022年06月18日 03:19/ 0 赞/ 1650 阅读

相关 Linux删除大量图片(小文件)

今天连接公司测试服务器，发现磁盘满了，经过一番查找，找到了在home/file/images 下面大量无用图片，于是想要删除这些图片，使用命令 rm -rf 无任

柔光的暖阳◎/ 2022年05月08日 11:14/ 0 赞/ 685 阅读

相关 Linux删除大量文件

rm 一次最多只能删除1000个文件，当文件数目比较多的时候，使用rsync删除 1.先建立一个空文件夹 mkdir a 2.删除文件 rsync --delete-b

谁借莪１个温暖的怀抱￠/ 2022年01月10日 13:23/ 0 赞/ 323 阅读

相关删除大量文件

删除大量文件时 rm -rf /要删除的目录会很慢可以使用rsync rsync --delete /空目录 /要删除的目录转载于:https://www.cnb

偏执的太偏执、/ 2021年10月26日 20:26/ 0 赞/ 389 阅读

相关 Linux下删除大量文件效率对比

一个执着于技术的公众号背景今天我们来测试一下Linux下删除大量文件的效率。首先创建50万个测试文件 $ for i in $(seq 1 5

曾经终败给现在/ 2021年08月28日 12:06/ 0 赞/ 462 阅读

相关 linux 快速删除大量/大文件

1、快速删除大量文件：假如你要在linux下删除大量文件，比如100万、1000万，像/var/spool/clientmqueue/的mail邮件，/usr/local/

Dear 丶/ 2021年06月24日 14:35/ 0 赞/ 857 阅读