告别无聊循环！Python帮你自动化处理文件

落日映苍穹つ 2022-12-23 07:23 143阅读 0赞

![format_png][]

全文共**3488**字，预计学习时长**9**分钟

![format_png 1][]

图源：unsplash

当代码投入生产时，你需要去组织代码的文件。读写、创建和运行许多代码文件是件非常耗时的事。本文将展示如何自动化这些繁琐的操作：

·        遍历一个目录中的文件

·        创建尚未建立的嵌套文件

·        使用bash for循环来运行一个有多个输入端的文件

在处理数据科学项目时，这些技巧为笔者节省了大量的时间。希望对你也有用！

![format_png 2][]

**遍历一个目录中的文件**

如果有如下多个数据需要读取和处理：

├── data│   ├── data1.csv│   ├── data2.csv│   └── data3.csv└── main.py

可以手动地一次读取一个文件：

import pandas as pd def process_data(df):   passdf = pd.read_csv(data1.csv)process_data(df)df2 = pd.read_csv(data2.csv)process_data(df2)df3 = pd.read_csv(data3.csv)process_data(df3)

这是可行的，但是当有超过三个数据时，效率就会变得很低。如果上述脚本中唯一改变的是数据，为什么不用for循环来访问每个数据呢?

下面的脚本允许我们遍历指定目录中的文件：

import os      import pandas as pd      defloop_directory(directory:str):            Loop files in thedirectory                    for filename in os.listdir(directory):             if filename.endswith(".csv"):                  file_directory = os.path.join(directory,filename)                  print(file_directory)                  pd.read_csv(file_directory)                               if __name__== __main__ :         loop_directory( data/ ) data/data3.csvdata/data2.csvdata/data1.csv

对上面脚本的解释如下：

·        for filename in os.listdir(directory) : 在一个指定的目录中遍历文件。

·        if filename.endswith(".csv") :运行（访问？）以‘.csv’ 结尾的文件。

·        file\_directory = os.path.join(directory, filename) : 连接父目录(  data  )和该目录中的文件。

现在就可以在‘data’目录中访问所有的文件啦！

![format_png 2][]

**如果不存在，就创建嵌套文件**

有时你可能想要通过创建嵌套文件来管理代码或模型，在之后更容易地寻找。比如，可以运用‘model 1’来明确规定一个有着具体特征的程序。当使用model 1时，你可能想要尝试运用不同种类的机器学习模型来训练数据(‘model1/XGBoost’)。

在使用各个机器学习模型时，我们甚至想要去保存不同样式的模型，因为它们所运用的超参数存在不同。因此，模型目录就像下面的示例一样复杂：

model├── model1│   ├── NaiveBayes│   └── XGBoost│       ├── version_1│       └── version_2└── model2    ├── NaiveBayes    └── XGBoost        ├── version_1        └── version_2

对每个所创的模型手动地建立嵌套文件可能需要花费很长的时间。有没有能够自动化这个进程的方法？有，通过使用 os.makedirs(datapath)。

defcreate_path_if_not_exists(datapath):                                        Create the new file if not exists andsave the data                    ifnot os.path.exists(datapath):                                         os.makedirs(datapath)                                                                         if __name__== __main__ :                          create_path_if_not_exists( model/model1/XGBoost/version_1 )

运行上面的文件，可以看到嵌套文件‘model/model2/XGBoost/version\_2’自动建成了。现在便可以将模型或者数据储存到新的目录里了！

import joblib      import os             defcreate_path_if_not_exists(datapath):             Create thenew file if not exists and save the data                    ifnot os.path.exists(datapath):             os.makedirs(datapath)             if __name__== __main__ :               # Create directory       model_path = model/model2/XGBoost/version_2         create_path_if_not_exists(model_path)          # Save file       joblib.dump(model, model_path)

![format_png 2][]

**Bash for循环：用不同参数运行一个文件**

![format_png 3][]

图源：unsplash

如果要运行一个具有不同参数的文件怎么办呢？比如，可能要用同一个脚本去预测使用不同模型的数据。

import joblib             # df = ...             model_path = model/model1/XGBoost/version_1       model = joblib.load(model_path)      model.predict(df)

如果一个脚本需要长时间来运行且有着多个要运行的模型，用脚本一个一个地运行会是非常耗时。有什么办法能让电脑独立自动地用一条命令行运行第1，2，3...，10个模型吗？

有的，可以使用bash for循环。首先，使用sys.argv来解析命令行参数。如果想要在命令行上重写配置文件可以使用类如hydra的工具。

import sys      import joblib             # df = ...                model_type = sys.argv[1]      model_version = sys.argv[2]      model_path =f   model/model1/{model_type}/version_{model_version}         print( Loading modelfrom , model_path,  for training )             model = joblib.load(model_path)      mode.predict(df)>>> python train.py XGBoost 1Loading model from model/model1/XGBoost/version_1 for training

脚本已经被指令为使用模具第一版的XGBoost来预测命令行上的数据。现在便能在不同版本的模具中使用bash for循环。如果能用Python使用for循环，也可以在如下的终端上达成上述的目标。

$ for version in 2 3 4> do> python train.py XGBoost $version> done

敲击Enter来分隔各行，输出：

Loading model from model/model1/XGBoost/version_1 for trainingLoading model from model/model1/XGBoost/version_2 for trainingLoading model from model/model1/XGBoost/version_3 for trainingLoading model from model/model1/XGBoost/version_4 for training

现在便可以让脚本使用不同的模具来运行啦！

恭喜！现在你已经学会如何一次自动地读取和创造多个文件，如何用不同的参数运行一个文档，过去丢在琐碎工作中的时间可以利用起来做更重要的任务啦。

![format_png 4][]

**推荐阅读专题**

[![format_png 5][]][format_png 5 1]

[![format_png 6][]][format_png 6 1]

[![format_png 7][]][format_png 7 1]

[![format_png 8][]][format_png 8 1]

![format_png 9][]

**留言点赞发个朋友圈**

**我们一起分享AI学习与发展的干货**

编译组：欧舒蔓、岳馨妍

相关链接：

https://towardsdatascience.com/3-python-tricks-to-read-create-and-run-multiple-files-automatically-5221ebaad2ba

如转载，请后台留言，遵守转载规范

**推荐文章阅读**

[ACL2018论文集50篇解读][ACL2018_50]

[EMNLP2017论文集28篇论文解读][EMNLP2017_28]

[2018年AI三大顶会中国学术成果全链接][2018_AI]

[ACL2017论文集：34篇解读干货全在这里][ACL2017_34]

[10篇AAAI2017经典论文回顾][10_AAAI2017]

**长按识别二维码可添加关注**

**读芯君爱你**

![format_png 10][]

[format_png]: /images/20221120/5b1cf8bb18844e1abc7a018545d65f79.png
[format_png 1]: /images/20221120/bcbadeb71de644f486980f2feb38a609.png
[format_png 2]: /images/20221120/89b84c7e407d4ed8871b7f3d4b25bf99.png
[format_png 3]: /images/20221120/136859aa32814315ae450eb78162fd4d.png
[format_png 4]: /images/20221120/2e98eff642524bc4a14e5dd7de21cc64.png
[format_png 5]: /images/20221120/8b192d3395e2440db9904923a479d323.png
[format_png 5 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d2bb194670056d7ed973cf4349656e20d98bd139d8a5d99526a799fb243f8d&idx=1&mid=2247493138&scene=21&sn=d2fa895e71260f2576fa952cf2487522#wechat_redirect
[format_png 6]: /images/20221120/dcca6d439d89424894a1947465e0fe97.png
[format_png 6 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cf9a7136dfb1352cf9fb1127b3061293cf716f8ee95b4560e694fce20a1e24&idx=2&mid=2247493135&scene=21&sn=5711dc1074411b7e45b40eb34fecc648#wechat_redirect
[format_png 7]: /images/20221120/367e83cc87fa4f769edcc71b83f1f4b4.png
[format_png 7 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ec4ddf397d28ed77a111732be52384c9be414e0aad59c570ada6b29278755d066ae2090&idx=2&mid=2247493138&scene=21&sn=e45fe93b00342ba9eac222f24369d036#wechat_redirect
[format_png 8]: /images/20221120/83b72fa61ac243fbac9f9be7724513e8.png
[format_png 8 1]: http://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea841ed9ddf397cfbc27f47a160ee926a706f1b3151c53f707c8f221fde0ea51446aabe2148d&idx=1&mid=2247493135&scene=21&sn=cce4cc400933c960a3200fd0dfa4d0a7#wechat_redirect
[format_png 9]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2pwZy9QTFNBaHVFbEZ4bXl1ZjA0ckNGWE8walI5MGNTdnNUaWFsZkNpY3duUGhoRExrajJKdmFNVHEzRHNaN25ZZ1gyNWxueGd2THh5WWhDMktMNmlheUJjUHpsdy82NDA?x-oss-process=image/format,png
[ACL2018_50]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87ee2addf0673cae27c598a097f5addad5d81b2ed766e570f20fc0fb12b77c5cf34098022e&idx=1&lang=zh_CN&mid=2247489276&scene=21&sn=98e22e2b69478303f1f1a0a51e712570&token=192322725#wechat_redirect
[EMNLP2017_28]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87eaadddf063bb3ab4ec5af616612a45f8d4fe9a5ad558f66278478296060253c1564bd05c&idx=1&lang=zh_CN&mid=2247488123&scene=21&sn=a55185f3a693f7a5d85b1abe3dd36177&token=140500370#wechat_redirect
[2018_AI]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f6ebddf07ffd8e84bcc18d7122f894b6cf5dc967daad9c2e122edb22968fd6f589d6852f&idx=1&mid=2247487037&scene=21&sn=37cd38b305aa874c29d764361c88a202#wechat_redirect
[ACL2017_34]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&chksm=ea87f59addf07c8c2480dd46784a431612d099d3d0531449aa8e64f68b3ba340363578d95659&idx=1&mid=2247486796&scene=21&sn=a8ae95efbf16985a259c4cd66bf919f2#wechat_redirect
[10_AAAI2017]: https://mp.weixin.qq.com/s?__biz=MzI2NjkyNDQ3Mw%3D%3D&idx=1&lang=zh_CN&mid=2247487100&scene=21&sn=3bd640ec4f00c5104664687194dd9a51&token=77118319#wechat_redirect
[format_png 10]: /images/20221120/598bc4e339024700b998a02747c68d25.png