使用python依次读取文件中的所有csv格式的数据

拼搏现实的明天。 2022-05-08 10:03 379阅读 0赞

使用python依次读取文件中的所有csv格式的数据：

#coding=gbk
    import pandas as pd 
    import os
    path = r'D:\ml_datasets\PHM\c6'
    
    def get_file():                   #创建一个空列表
        files =os.listdir(path)
        files.sort() #排序
        list= []
        for file in files:
            if not  os.path.isdir(path +file):  #判断该文件是否是一个文件夹       
                f_name = str(file)        
    #             print(f_name)
                tr = '\\'   #多增加一个斜杠
                filename = path + tr + f_name        
                list.append(filename)  
        return list 
    
    list = get_file()
    print('\\')  
    print(list[:6])
    data = pd.read_csv(list[2])
    print(data.head())

接下里就可以对 list 进行循环读取每个文件了。

输出为：

#输出为：
    # \
    # ['D:\\ml_datasets\\PHM\\c6\\c_6_001.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_002.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_003.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_004.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_005.csv', 'D:\\ml_datasets\\PHM\\c6\\c_6_006.csv']
    #    -0.031  -1.071  0.361  -0.113  -0.124  -0.132  -0.005
    # 0   0.030  -0.995  0.354   0.098   0.071   0.088  -0.005
    # 1   0.141  -0.903  0.422  -0.040  -0.078  -0.059  -0.005
    # 2   0.223  -0.822  0.419  -0.153  -0.161  -0.172  -0.004
    # 3   0.354  -0.699  0.461   0.045   0.039   0.035  -0.005
    # 4   0.408  -0.606  0.444  -0.031  -0.047  -0.035  -0.005

对于一些文件名为数字开头的，可能不会依次输出每个文件，可以使用sort() 方法：

path = 'D:\ml_datasets\PHM\c6_new_train'
    path_list=os.listdir(path)
    for filename in path_list:
        print(os.path.join(path,filename))
    # D:\ml_datasets\PHM\c6_new_train\1.csv
    # D:\ml_datasets\PHM\c6_new_train\12.csv
    # D:\ml_datasets\PHM\c6_new_train\121.csv
    # D:\ml_datasets\PHM\c6_new_train\123.csv
    # D:\ml_datasets\PHM\c6_new_train\2.csv
    # D:\ml_datasets\PHM\c6_new_train\3.csv
    # D:\ml_datasets\PHM\c6_new_train\4.csv
    # D:\ml_datasets\PHM\c6_new_train\6.csv
    path_list.sort(key=lambda x:int(x[:-4])) #对读取的路径进行排序
    for filename in path_list:
        print(os.path.join(path,filename))
    # D:\ml_datasets\PHM\c6_new_train\1.csv
    # D:\ml_datasets\PHM\c6_new_train\2.csv
    # D:\ml_datasets\PHM\c6_new_train\3.csv
    # D:\ml_datasets\PHM\c6_new_train\4.csv
    # D:\ml_datasets\PHM\c6_new_train\6.csv
    # D:\ml_datasets\PHM\c6_new_train\12.csv
    # D:\ml_datasets\PHM\c6_new_train\121.csv
    # D:\ml_datasets\PHM\c6_new_train\123.csv

# python文件和目录操作方法： #

#coding=gbk
    '''
    Created on 2018年12月1日
    
    @author: Administrator
    '''
    #python 文件和目录操作方法
    import os 
    # 1.得到当前工作目录，即当前Python脚本工作的目录路径: os.getcwd()
    # 2.返回指定目录下的所有文件和目录名:os.listdir()
    # 3.函数用来删除一个文件:os.remove()
    # 4.删除多个目录：os.removedirs（r“c：\python”）
    # 5.检验给出的路径是否是一个文件：os.path.isfile()
    # 6.检验给出的路径是否是一个目录：os.path.isdir()
    # 7.判断是否是绝对路径：os.path.isabs()
    # 8.检验给出的路径是否真地存:os.path.exists()
    # 9.返回一个路径的目录名和文件名:os.path.split()     eg os.path.split('/home/swaroop/byte/code/poem.txt') 结果：('/home/swaroop/byte/code', 'poem.txt') 
    # 10.分离扩展名：os.path.splitext()
    
    file_name = r'D:\liteide'
    print(os.getcwd())  # 获取当前工作目录
    print(os.listdir(file_name)) # 返回指定目录下的所有文件和目录名, ['bin', 'CONTRIBUTORS', 'LGPL_EXCEPTION.TXT', 'lib', 'LICENSE.LGPL', 'README.md', 'share', 'test_remove.txt']
    # os.remove(r'D:\liteide\test_remove.txt')    #删除指定文件
    # print(os.listdir(path))
    print(os.path.isfile(file_name))    # False
    print(os.path.isdir(file_name)) #True 是一个目录
    print(os.path.isabs(file_name)) #True 绝对路径
    # 9.返回一个路径的目录名和文件名:os.path.split()
    print(os.path.split(r'D:\liteide\LGPL_EXCEPTION.TXT'))  # ('D:\\liteide', 'LGPL_EXCEPTION.TXT')
    print(os.path.splitext(r'D:\liteide\LGPL_EXCEPTION.TXT'))   #('D:\\liteide\\LGPL_EXCEPTION', '.TXT')
    
    # 11.获取路径名：os.path.dirname()
    print(os.path.dirname(file_name))   # D:\
    
    # 12.获取文件名：os.path.basename()
    print(os.path.basename(file_name))  # liteide
    
    # 13.运行shell命令: os.system()
    print(os.system('cd D:\python1'))   #0,返回0 ，表示可以使用
    
    # 14.读取和设置环境变量:os.getenv() 与os.putenv()
    # 15.给出当前平台使用的行终止符:os.linesep    Windows使用'\r\n'，Linux使用'\n'而Mac使用'\r'
    print(os.linesep)
    
    # 16.指示你正在使用的平台：os.name       对于Windows，它是'nt'，而对于Linux/Unix用户，它是'posix'
    print(os.name)  #nt
    
    # 17.重命名：os.rename（old， new）
    # print(os.rename(r'D:\liteide\old_name', r'D:\liteide\new_name'))    #修改文件夹的名字
    
    # 18.创建多级目录：os.makedirs（r“c：\python\test”）
    # print(os.makedirs(r'D:\liteide\hello_makedirs'))    #创建了一个文件夹
    
    # 19.创建单个目录：os.mkdir（“test”）
    # print(os.mkdir(r'D:\liteide\hah'))
    
    # 20.获取文件属性：os.stat（file）
    print(os.stat(file_name))
    
    # 21.修改文件权限与时间戳：os.chmod（file）
    
    # 22.终止当前进程：os.exit（）
    # 23.获取文件大小：os.path.getsize（filename）
    print(os.path.getsize(file_name))   # 4096

2.文件操作

def test_file():
        file=r'D:\liteide\test.txt'
        with open(file, mode='r+', encoding='utf-8') as f:
            for line in f.readlines(200):   #还可以设置读取的大小
                print(line)
            f.writelines('append somthing')
            f.flush()

w：以写方式打开，
    a：以追加模式打开 (从 EOF 开始, 必要时创建新文件)
    r+：以读写模式打开
    w+：以读写模式打开 (参见 w )
    a+：以读写模式打开 (参见 a )
    rb：以二进制读模式打开
    wb：以二进制写模式打开 (参见 w )
    ab：以二进制追加模式打开 (参见 a )
    rb+：以二进制读写模式打开 (参见 r+ )
    wb+：以二进制读写模式打开 (参见 w+ )
    ab+：以二进制读写模式打开 (参见 a+ )

fp.read(\[size\]) \#size为读取的长度，以byte为单位  
fp.readline(\[size\]) \#读一行，如果定义了size，有可能返回的只是一行的一部分  
fp.readlines(\[size\]) \#把文件每一行作为一个list的一个成员，并返回这个list。其实它的内部是通过循环调用readline()来实现的。如果提供size参数，size是表示读取内容的总长，也就是说可能只读到文件的一部分。  
fp.write(str) \#把str写到文件中，write()并不会在str后加上一个换行符  
fp.writelines(seq) \#把seq的内容全部写到文件中(多行一次性写入)。这个函数也只是忠实地写入，不会在每行后面加上任何东西。  
fp.close() \#关闭文件。python会在一个文件不用后自动关闭文件，不过这一功能没有保证，最好还是养成自己关闭的习惯。 如果一个文件在关闭后还对其进行操作会产生ValueError  
fp.flush() \#把缓冲区的内容写入硬盘  
fp.fileno() \#返回一个长整型的”文件标签“  
fp.isatty() \#文件是否是一个终端设备文件（unix系统中的）  
fp.tell() \#返回文件操作标记的当前位置，以文件的开头为原点  
fp.next() \#返回下一行，并将文件操作标记位移到下一行。把一个file用于for … in file这样的语句时，就是调用next()函数来实现遍历的。  
fp.seek(offset\[,whence\]) \#将文件打操作标记移到offset的位置。这个offset一般是相对于文件的开头来计算的，一般为正数。但如果提供了whence参数就不一定了，whence可以为0表示从头开始计算，1表示以当前位置为原点计算。2表示以文件末尾为原点进行计算。需要注意，如果文件以a或a+的模式打开，每次进行写操作时，文件操作标记会自动返回到文件末尾。  
fp.truncate(\[size\]) \#把文件裁成规定的大小，默认的是裁到当前文件操作标记的位置。如果size比文件的大小还要大，依据系统的不同可能是不改变文件，也可能是用0把文件补到相应的大小，也可能是以一些随机的内容加上去。

3.目录操作方法

import shutil   
    # 目录操作方法
    # 1.创建目录
    # os.mkdir("file") 
          
    # os.mkdir(r'D:\liteide\mkdir_file')            
    # 2.复制文件：
    # shutil.copyfile("oldfile","newfile")        #oldfile和newfile都只能是文件
    # shutil.copy("oldfile","newfile")            #oldfile只能是文件夹，newfile可以是文件，也可以是目标目录
    
    # 3.复制文件夹：
    # 4.shutil.copytree("olddir","newdir")        #olddir和newdir都只能是目录，且newdir必须不存在
    # 5.重命名文件（目录）
    # os.rename("oldname","newname")              #文件或目录都是使用这条命令
    # 6.移动文件（目录）
    # shutil.move("oldpos","newpos")   
    # 7.删除文件
    # os.remove("file")
    # 8.删除目录
    # os.rmdir("dir")                             #只能删除空目录
    # shutil.rmtree("dir")                        #空目录、有内容的目录都可以删
    # shutil.rmtree(r'D:\liteide\mkdir_file')
    # shutil.rmtree(r'D:\liteide\hello_makedirs')
    # 9.转换目录
    # os.chdir("path")                            #换路径
    
    s = ['h', 'j', 'k'] 
    t = '.'.join(s)  
    print(t)  # h.j.k
    print(t.split('.')) # ['h', 'j', 'k']

### 项目推荐： ###

**[2000多G的计算机各行业电子资源分享（持续更新）][2000_G]**

**[2020年微信小程序全栈项目之喵喵交友【附课件和源码】][2020]**

**[Spring Boot开发小而美的个人博客【附课件和源码】][Spring Boot]**

**[Java微服务实战296集大型视频-谷粒商城【附代码和课件】][Java_296_-]**

**[Java开发微服务畅购商城实战【全357集大项目】-附代码和课件][Java_357_-]**

**[最全最详细数据结构与算法视频-【附课件和源码】][-]**

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTg3NTc1_size_16_color_FFFFFF_t_70_pic_center]

[2000_G]: https://mp.weixin.qq.com/s/sP4JgGWkCzpgwKr9sAV2_Q
[2020]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487704&idx=1&sn=5f4b2127c4d49fd07ae072a0721424a2&chksm=e8036fc2df74e6d489c4aa9b06f917ef7cee6027f13e150fca53cf79d5d188d4ccc1af49e098&scene=21#wechat_redirect
[Spring Boot]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487798&idx=2&sn=ac0293b996521b872a9dba5fbb3e65e6&chksm=e8036e2cdf74e73aba104a9a994a5b2e31483e8dcbe0f1d9936f6d5173b887e1560f59d2819c&scene=21#wechat_redirect
[Java_296_-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487674&idx=1&sn=7aff0bdf2bb727303f3d3618995aef21&chksm=e8036fa0df74e6b6d872c7e6ece179c524ed463a4a6b74c96875475c9a3d5ddb903427dd993b&scene=21#wechat_redirect
[Java_357_-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247486376&idx=1&sn=d1fef270c463ea8ac663f6fbfedd70a0&chksm=e80374b2df74fda4d3bafba878a106a19e18c5fcda266008f4f37975847a21bc612ffcd5ff39&scene=21#wechat_redirect
[-]: https://mp.weixin.qq.com/s?__biz=MzIyNTI3NDQ4NQ==&mid=2247487750&idx=1&sn=747bccbb5f5ea6b58915198de40da777&chksm=e8036e1cdf74e70ae97a5e8e265b49d7236d904d291203309159d07ba1724033062c0e370843&scene=21#wechat_redirect
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQwNTg3NTc1_size_16_color_FFFFFF_t_70_pic_center]: /images/20220508/3c38943114cb4209b8227e0a74321263.png