【python3】多线程以及多进程拷贝U盘图片数据

偏执的太偏执、 2022-12-20 14:54 117阅读 0赞

### 【python3】 多线程以及多进程拷贝U盘图片数据 ###

*  1.背景
 *  2.代码
 *  3.运行结果及分析

# 1.背景 #

在做深度学习的时候，需要手动拷贝很多图片数据，发现U盘质量很差劲，拷贝非常耗时间，如下图：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2puMTAwMTA1Mzc_size_16_color_FFFFFF_t_70_pic_center]  
于是想用python代码去解决速度慢的事情，希望得到大的提升。

# 2.代码 #

python多线程/多进程拷贝U盘图片，代码如下：  
可以通过test\_handle 设置来测试：  
"multi\_process"多进程运行，开了10个进程，其实电脑6核，开6个就够了；  
"multi\_thread"多线程，开了10个线程；  
“one\_way”：一个一个拷贝；  
代码只是简单的测试可行性，请多多包涵~。

import os
    import shutil
    from threading import Thread
    from multiprocessing import Process
    
    def move_files_oneWay(src_path,dst_path):
        ''' 实现文件的移动(剪切)功能,一个一个的移动 :param src_path:源（来源）图片的文件夹路径 :param dst_path:目标（移动到的位置）文件路径 :return:None '''
        files = os.listdir(src_path)
        for file in files:
            file_path = os.path.join(src_path,file)
            shutil.move(file_path,dst_path)
    
    def move_files_multiWay(src_path,src_filesList,dst_path):
        ''' 实现文件的移动(剪切)功能,多线程进行 :param src_path:源（来源）图片的文件夹路径 :param src_filesList:源图片名称列表，如[000317.jpg,000318.jpg] :param dst_path:目标（移动到的位置）文件路径 :return:None '''
        for file in src_filesList:
            file_path = os.path.join(src_path,file)
            try:
                shutil.move(file_path,dst_path)
            except Exception as e:
                pass
    if __name__=="__main__":
        # test_handle="one_way"
        # test_handle = "multi_thread"
        test_handle = "multi_process"
    
        file_path = r"F:\Voc2007Data\VOCdevkit\VOC2007\JPEGImages"
        dst_path = r"C:\Users\G7\Desktop\神经网络训练\ssd_tf2\ssd-tf2-master\VOCdevkit\VOC2007\JPEGImages"
        if test_handle=="one_way":
            move_files_oneByone(file_path, dst_path)
    
        elif test_handle == "multi_thread":
            #例如开启10个线程
            filesList = os.listdir(file_path) #文件列表
            gap=len(filesList)//10           #文件等分数量
            list_gap=[]
            for i in range(9):
                start_point=i*gap
                list_gap.append(filesList[start_point:gap])
            list_gap.append(filesList[gap*9:-1])
    
            #开启多线程
            t1  = Thread(target=move_files_multiWay, args=(file_path,list_gap[0],dst_path))
            t2  = Thread(target=move_files_multiWay, args=(file_path, list_gap[1], dst_path))
            t3  = Thread(target=move_files_multiWay, args=(file_path, list_gap[2], dst_path))
            t4  = Thread(target=move_files_multiWay, args=(file_path,list_gap[3],dst_path))
            t5  = Thread(target=move_files_multiWay, args=(file_path, list_gap[4], dst_path))
            t6  = Thread(target=move_files_multiWay, args=(file_path, list_gap[5], dst_path))
            t7  = Thread(target=move_files_multiWay, args=(file_path, list_gap[6], dst_path))
            t8  = Thread(target=move_files_multiWay, args=(file_path, list_gap[7], dst_path))
            t9  = Thread(target=move_files_multiWay, args=(file_path, list_gap[8], dst_path))
            t10 = Thread(target=move_files_multiWay, args=(file_path, list_gap[9], dst_path))
    
            t1.start()
            t2.start()
            t3.start()
            t4.start()
            t5.start()
            t6.start()
            t7.start()
            t8.start()
            t9.start()
            t10.start()
    
        elif test_handle == "multi_process":
            # 例如开启10个线程
            filesList = os.listdir(file_path)  # 文件列表
            gap = len(filesList) // 10  # 文件等分数量
            list_gap = []
            for i in range(9):
                start_point = i * gap
                list_gap.append(filesList[start_point:gap])
            list_gap.append(filesList[gap * 9:-1])
    
            # 开启多线程
            t1  = Process(target=move_files_multiWay, args=(file_path, list_gap[0], dst_path))
            t2  = Process(target=move_files_multiWay, args=(file_path, list_gap[1], dst_path))
            t3  = Process(target=move_files_multiWay, args=(file_path, list_gap[2], dst_path))
            t4  = Process(target=move_files_multiWay, args=(file_path, list_gap[3], dst_path))
            t5  = Process(target=move_files_multiWay, args=(file_path, list_gap[4], dst_path))
            t6  = Process(target=move_files_multiWay, args=(file_path, list_gap[5], dst_path))
            t7  = Process(target=move_files_multiWay, args=(file_path, list_gap[6], dst_path))
            t8  = Process(target=move_files_multiWay, args=(file_path, list_gap[7], dst_path))
            t9  = Process(target=move_files_multiWay, args=(file_path, list_gap[8], dst_path))
            t10 = Process(target=move_files_multiWay, args=(file_path, list_gap[9], dst_path))
    
            t1.start()
            t2.start()
            t3.start()
            t4.start()
            t5.start()
            t6.start()
            t7.start()
            t8.start()
            t9.start()
            t10.start()

# 3.运行结果及分析 #

多线程下的状态  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2puMTAwMTA1Mzc_size_16_color_FFFFFF_t_70_pic_center 1]

多进程状态下移动图片文件  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2puMTAwMTA1Mzc_size_16_color_FFFFFF_t_70_pic_center 2]  
可以看到多进程稍微要快一点，但是依然非常的蜗牛的慢！  
请求速度已经满负荷了，U盘的读写速度实在是太受限了。

思考：  
以后可以采取C/C++语言去实现读写，也许速度可以快很多！  
采用windows的批处理去处理这种任务，也许速可以快很多！

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2puMTAwMTA1Mzc_size_16_color_FFFFFF_t_70_pic_center]: /images/20221120/fe7a194690bf47c4a14ad5684794a136.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2puMTAwMTA1Mzc_size_16_color_FFFFFF_t_70_pic_center 1]: https://img-blog.csdnimg.cn/20201112215933696.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2puMTAwMTA1Mzc=,size_16,color_FFFFFF,t_70#pic_center
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2puMTAwMTA1Mzc_size_16_color_FFFFFF_t_70_pic_center 2]: https://img-blog.csdnimg.cn/20201112220013511.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2puMTAwMTA1Mzc=,size_16,color_FFFFFF,t_70#pic_center