Linux下删除大量文件效率对比

曾经终败给现在 2021-08-28 12:06 461阅读 0赞

一个执着于技术的公众号

##  ##

## 背景 ##

今天我们来测试一下Linux下删除大量文件的效率。

首先创建50万个测试文件

$ for i in $(seq 1 500000); do echo text >> $i.txt;done

## 1、rm删除 ##

$ time rm -f *
    zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y
    zsh: argument list too long: rm
    rm -f *  3.63s user 0.29s system 98% cpu 3.985 total

*  由于文件数量过多，rm不起作用。

## 2、find删除 ##

# time find ./ -type f -exec rm {} \;
    find ./ -type f -exec rm {} \;  49.86s user 1032.13s system 41% cpu 43:19.17 total

*  大概43分钟,我的电脑。。。

## 3、find with delete ##

# time find ./ -type f -delete
    find ./ -type f -delete  0.43s user 11.21s system 2% cpu 9:13.38 total

*  用时9分钟

## 4、rsync删除 ##

# 首先建立空文件夹blanktest
    # time rsync -a --delete blanktest/ test/
    rsync -a --delete blanktest/ test/  0.59s user 7.86s system 51% cpu 16.418 total

*  16s，很好很强大。

## 5、Python删除 ##

import os
    import timeit
    def main():
        for pathname,dirnames,filenames in os.walk('/home/username/test'):
            for filename in filenames:
                file=os.path.join(pathname,filename)
                os.remove(file)
                
    if __name__=='__main__':
    t=timeit.Timer('main()','from __main__ import main')
    print t.timeit(1)　　
    1
    2
    $ python test.py
    529.309022903

*  大概用时9分钟

## 6、Perl删除 ##

$ time perl -e 'for(<*>){((stat)[9]<(unlink))}'
    perl -e 'for(<*>){((stat)[9]<(unlink))}'  1.28s user 7.23s system 50% cpu 16.784 total

*  16s，这个挺快。

## 对比： ##

*  rm：文件数量太多，不可用
 *  find with -exec：50万文件耗时43分钟
 *  find with -delete：9分钟
 *  Perl：16s
 *  Python：9分钟
 *  rsync with -delete：16s

**结论：删除大量 小文件`rsync`最快，最方便。**

![format_png][]

往期精彩

◆  [手把手教你搭建一套OpenStack云平台][OpenStack]

◆  [利用expect批量修改Linux服务器密码][expect_Linux]

◆  [Linux运维工程师面试问答录][Linux]

◆  [干货 | Linux平台搭建网关服务器][_ Linux]

◆  [干货 | 理解正向代理与反向代理的区别][Link 1]

◆  [硬核科普服务器硬盘组成与基本原理][Link 2]

◆  [一文带你速懂虚拟化KVM和XEN][KVM_XEN]

◆  [实战 | Hadoo大数据集群搭建][_ Hadoo]

◆  [运维工程师心法：6大技能让你告别背锅][6]

![format_png 1][]

如有收获，点个在看，诚挚感谢

[format_png]: /images/20210726/d6ce16b696144ecaa065f809d67469a7.png
[OpenStack]: https://blog.csdn.net/weixin_38889300/article/details/105563051
[expect_Linux]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d6b9dc135fafde24a277994f58efd8ca1c9a7de94b9d9dfe490afd027517a20134e4be06&idx=1&mid=2247484681&scene=21&sn=740ed69ba3c2420b128453f64c9f9e79#wechat_redirect
[Linux]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d775dc135e63e6d5a9d488c0a8b3c863655a90b94cfc0e5f8ce6a49a09f04a096dda52b6&idx=1&mid=2247484613&scene=21&sn=8c93aa6f56ea0422085240336de7c1e9#wechat_redirect
[_ Linux]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d014dc135902f4698838249e6bf60a5c378b4d6ef5151547c403d85c5d2e5f91e0e7d9ce&idx=1&mid=2247484324&scene=21&sn=6cd6ea36d1372fbfd937b3fdc219948d#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d7ecdc135efa49083407e26cb5d1cc962f0cc690e5f1530ccefc3661808eb3492e0c178a&idx=1&mid=2247484508&scene=21&sn=d6bcc35f962b58debdcbf6cecdea3cb6#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d0a4dc1359b26f68145f11eb9c718195d55fb2f2b598a9b26c7fcf9e238743064bae32ff&idx=1&mid=2247484180&scene=21&sn=83aeff4baa65ba2e16196d3ae84d5f4d#wechat_redirect
[KVM_XEN]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d07bdc13596dbbef1dd33d89684a4bc98fa0fee3338524c0e17226e8cf726818bd26ff76&idx=1&mid=2247484363&scene=21&sn=daad565c5ccea381e0ec580412ce049b#wechat_redirect
[_ Hadoo]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d78edc135e98503e24685c66df4c20bde0579bd338436c2c4dba92635cc2dd224d86fe57&idx=1&mid=2247484478&scene=21&sn=be9153d011c877a1da9297ed465a9405#wechat_redirect
[6]: http://mp.weixin.qq.com/s?__biz=MzI3NzQ4MTE4Mw%3D%3D&chksm=eb64d705dc135e13f6c1a24fa082c4081df3b967597467563f65752bf42c4b1bb80f85616df9&idx=1&mid=2247484597&scene=21&sn=a1f803f96ee89343c88c10dc1dd9d52b#wechat_redirect
[format_png 1]: /images/20210726/94d7a561eb3a4cb79f3dcc916b9d949f.png