高效的将两个文件夹中多余的文件删除

向右看齐 2024-02-17 12:06 23阅读 0赞

#### 高效的将两个文件夹中多余的文件删除 ####

*  解决方案

之前使用的是这个方法，但是图像太多，需要删除的有70W张，得删10多天。。

[将两个文件夹中重复的图象删除][Link 1]

![在这里插入图片描述][e384611b744147abbaf14a904bbbf1ca.png]  
![在这里插入图片描述][3346759bc0a84e9293db0c6b3c282fac.png]

## 解决方案 ##

先将image图像复制一份，然后改名为txt

import os
    
    def change_file_extension(path, old_ext, new_ext):
        for root, dirs, files in os.walk(path):
            for file in files:
                if file.endswith(old_ext):
                    old_file = os.path.join(root, file)
                    new_file = os.path.splitext(old_file)[0] + new_ext
                    os.rename(old_file, new_file)
    
    # 示例：将路径为 "C:\test" 下所有 .txt 文件的后缀修改为 .md
    change_file_extension("D:\dataset\image\\1", ".jpg", ".txt")

![在这里插入图片描述][a185fb29a8a44eb7a284ad57267b8ccd.png]

这下图片和标签的名称一样了，对比找出image中多的文件名，并写入txt文件中

import os
    import codecs
    # 指定两个文件夹的路径
    folder1 = r'D:\dataset\image\1'
    folder2 = r'D:\dataset\ann'
    
    # 获取文件夹1中所有文件的文件名  (这里的场景是jpg)
    files1 = set(os.listdir(folder1))
    
    # 获取文件夹2中所有文件的文件名  (这里的场景是txt)
    files2 = set(os.listdir(folder2))
    
    
    
    # 计算出缺少的文件，即在文件夹1中出现但不在文件夹2中出现的文件
    missing_files = files1 - files2
    
    #将缺少的文件保存到txt中
    path=  'D:\code\yolov8-pytorch-master\\needRM.txt'
    lt = open(path, "w")
    
    # 打印缺少的文件名
    print("缺少的文件：")
    for file in missing_files:
        print(file)
        lt.writelines(file + '\n')  # 每个元素以空格间隔，一行元素写完并换行

![在这里插入图片描述][ca0e03f0d3c94454abd952c00f7fd2bd.png]  
![在这里插入图片描述][bb965c8722104f04a5713cc275b51c8e.png]  
在读取needRM.txt文件，将后缀改回jpg

import codecs
    import os
    
    path = 'D:/code/yolov8-pytorch-master/needRM.txt'  # 标签文件train路径
    newpath = 'D:/code/yolov8-pytorch-master/needRMNew.txt'  # 标签文件train路径
    
    file = open(path, "r", encoding="utf8")
    txt = file.read()
    a = txt.replace(".txt", ".jpg")  # read默认内容读出来是字符串格式
    file.close()  # 这一步必须关闭
    file = open(newpath, "w", encoding='utf8')
    file.write(a)  # 把修改后的a写入文件
    file.close()

![在这里插入图片描述][ab0def51cd2f409cad212b9831fb0389.png]

这样就得到了需要删除文件的文件名了（都保存在这个txt文件中）

在按照文件名删除Image文件夹下多余的文件

import os
    
    # 将待删除文件夹图片路径补全
    file = open(r"D:\code\yolov8-pytorch-master\needRMNew.txt", "r")
    list1 = file.readlines()
    for i in list1:
        i = i.strip('\n')
        delPath = "D:\dataset\image\\1\\"+i
        print("remove pic:  "+ delPath, end="\n")
        os.remove(delPath)
    file.close()

![在这里插入图片描述][f536519d6ab7446fb76bb09ce9fa57ba.png]

完成！  
![在这里插入图片描述][32ace106b6c042b7b653dde36d946ade.png]

> 较之前的方法改进在于  
> 之前是双重遍历，时间复杂度高  
> 现在直接使用set找出不重复的，时间复杂度降低

[使用Python批量修改文件名后缀][Python]

[python对比两个文件夹中不同的文件][python]

[python之文件操作、对.txt文本文件的操作（读、写、修改、复制、合并）、对json文本文件的操作、json字符串与字典的相互转换。][python_.txt_json_json]

[Link 1]: https://blog.csdn.net/qq_41701723/article/details/132683755
[e384611b744147abbaf14a904bbbf1ca.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/5d6ad3b85e56477093975761448a63f6.png
[3346759bc0a84e9293db0c6b3c282fac.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/1845097a4b5a4839bba18c1ada7dcf66.png
[a185fb29a8a44eb7a284ad57267b8ccd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/dddcd4b5ae9c45e09871ed3aa0eca8bb.png
[ca0e03f0d3c94454abd952c00f7fd2bd.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/27f8120fc28847ea863f06a38ec8d953.png
[bb965c8722104f04a5713cc275b51c8e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/3be759e0a1484010aa6598d59561248b.png
[ab0def51cd2f409cad212b9831fb0389.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/36340d392c1f49d78438b660caf21763.png
[f536519d6ab7446fb76bb09ce9fa57ba.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/4c900c294965416d90ed74f40468071c.png
[32ace106b6c042b7b653dde36d946ade.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/02/06/273a487852024d478e5fd76e17c3341b.png
[Python]: https://blog.csdn.net/qq_57764123/article/details/130458070
[python]: https://blog.csdn.net/amazing_jack/article/details/130595085
[python_.txt_json_json]: https://blog.csdn.net/y_three/article/details/128162265